반응형
Notice
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 자바스크립트
- 네트워크
- 네트워크보안
- 빅데이터
- 데이터베이스
- 데이터구조
- 딥러닝
- I'm Sorry
- 프로그래밍언어
- 프로그래밍
- 데이터과학
- 클라우드컴퓨팅
- Yes
- 컴퓨터비전
- 웹개발
- 데이터분석
- 인공지능
- 코딩
- 버전관리
- 컴퓨터과학
- 자료구조
- 소프트웨어공학
- 사이버보안
- 컴퓨터공학
- 소프트웨어
- 머신러닝
- 알고리즘
- 2
- 파이썬
- 보안
Archives
- Today
- Total
목록클라우드스토리지 (1)
스택큐힙리스트
AWS S3 Sync가 큰 디렉토리로 복사할 때 매우 느립니다.
AWS-CLI를 사용하여 S3의 빈 디렉토리에 데이터를 동기화 할 때 거의 즉시 완료됩니다. 그러나 수백만 개의 폴더가 있는 큰 디렉토리에 대해 동기화를 수행하는 경우 파일을 업로드/동기화하기 전에 매우 오랜 시간이 소요됩니다. 대안적인 방법이 있을까요? S3 디렉토리의 모든 파일을 고려하려는 것 같아 동기화하기 전에 사전에 체크하지 않고 데이터를 업로드하는 것도 좋을 것 같습니다.답변 1 sync 명령은 버킷에 있는 모든 파일을 열거하여 로컬 파일이 이미 버킷에 있는지 여부와 로컬 파일과 동일한지 여부를 확인해야합니다. 버킷에 있는 문서가 많을수록 시간이 오래 걸릴 것입니다. 이러한 sync 동작이 필요하지 않다면 다음과 같이 재귀적으로 복사하는 명령을 사용하십시오: aws s3 cp --recursi..
카테고리 없음
2023. 11. 3. 23:25