반응형
Notice
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Yes
- 컴퓨터공학
- 컴퓨터과학
- 파이썬
- I'm Sorry
- 소프트웨어
- 웹개발
- 자료구조
- 데이터베이스
- 네트워크보안
- 보안
- 인공지능
- 컴퓨터비전
- 알고리즘
- 프로그래밍
- 데이터분석
- 사이버보안
- 자바스크립트
- 데이터과학
- 머신러닝
- 버전관리
- 딥러닝
- 데이터구조
- 코딩
- 프로그래밍언어
- 클라우드컴퓨팅
- 네트워크
- 소프트웨어공학
- 빅데이터
- 2
Archives
- Today
- Total
목록데이터웨어하우스 (2)
스택큐힙리스트
파이썬 공유 메모리 딕셔너리 - 대용량 데이터 매핑
Python 프로그램 내에서 사전을 전역 변수로 저장하고 약 32개의 작업자 프로세스를 분기합니다. 이론적으로는 이 방법이 작동할 수 있습니다. 왜냐하면 사전이 수정되지 않기 때문에 Linux에서의 fork에 대한 COW 메커니즘은 데이터 구조가 프로세스 간에 복사되지 않고 공유되는 것을 의미합니다. 그러나 이를 시도 할 때 multiprocessing.Pool.map 내의 os.fork()에서 프로그램이 OSError: [Errno 12] Cannot allocate memory와 함께 충돌합니다. 나는 이것이 커널이 메모리를 과도하게 할당하지 않도록 구성되어있기 때문이라고 확신합니다 (/proc/sys/vm/overcommit_memory가 2로 설정되어 있으며 루트 액세스가 없는 기계에서이 설정을 ..
카테고리 없음
2023. 11. 5. 11:48
데이터 처리 전문가입니다. 이 HTML의 p 태그를 한국어로 번역해주세요.고정 폭으로 대용량 데이터 읽기
dados
카테고리 없음
2023. 11. 2. 18:17