반응형
Notice
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 프로그래밍언어
- 파이썬
- 클라우드컴퓨팅
- 사이버보안
- 컴퓨터비전
- 2
- 자료구조
- 데이터구조
- 웹개발
- Yes
- 보안
- 알고리즘
- 프로그래밍
- 인공지능
- 데이터분석
- 컴퓨터공학
- 빅데이터
- I'm Sorry
- 데이터과학
- 네트워크
- 버전관리
- 자바스크립트
- 컴퓨터과학
- 데이터베이스
- 소프트웨어공학
- 소프트웨어
- 코딩
- 딥러닝
- 머신러닝
- 네트워크보안
Archives
- Today
- Total
목록파일전송속도저하 (1)
스택큐힙리스트
AWS S3 Sync가 큰 디렉토리로 복사할 때 매우 느립니다.
AWS-CLI를 사용하여 S3의 빈 디렉토리에 데이터를 동기화 할 때 거의 즉시 완료됩니다. 그러나 수백만 개의 폴더가 있는 큰 디렉토리에 대해 동기화를 수행하는 경우 파일을 업로드/동기화하기 전에 매우 오랜 시간이 소요됩니다. 대안적인 방법이 있을까요? S3 디렉토리의 모든 파일을 고려하려는 것 같아 동기화하기 전에 사전에 체크하지 않고 데이터를 업로드하는 것도 좋을 것 같습니다.답변 1 sync 명령은 버킷에 있는 모든 파일을 열거하여 로컬 파일이 이미 버킷에 있는지 여부와 로컬 파일과 동일한지 여부를 확인해야합니다. 버킷에 있는 문서가 많을수록 시간이 오래 걸릴 것입니다. 이러한 sync 동작이 필요하지 않다면 다음과 같이 재귀적으로 복사하는 명령을 사용하십시오: aws s3 cp --recursi..
카테고리 없음
2023. 11. 3. 23:25