스택큐힙리스트

저의 컨텍스트는 생물정보학이며 특히 차세대 시퀀싱입니다. 하지만 문제는 일반적이므로 예시로 로그 파일을 사용하겠습니다. 이 파일은 매우 큽니다 (기가바이트 단위로 압축되어 있으므로 메모리에 맞지 않습니다) 하지만 파싱하기 쉽습니다 (각 줄은 항목입니다) 따라서 다음과 같이 간단하게 작성할 수 있습니다: parse :: Lazy.ByteString -> [LogEntry] 이제 로그 파일에서 계산하려는 많은 통계가 있습니다. 가장 쉬운 방법은 다음과 같이 별도의 함수를 작성하는 것입니다: totalEntries = length nrBots = sum . map fromEnum . map isBotEntry averageTimeOfDay = histogram . map extractHour 이 모든 함수들은..

메모리가 부족한 경우에 실패합니다. 이 예시는 node-mongodb-native 드라이버와 기본 http 패키지를 사용합니다. 치명적인 오류: CALL_AND_RETRY_2 할당 실패 - 메모리 부족 (실제 시나리오에서는 필요에 따라 결과를 제한하는 매개 변수를 사용하지만, 이 예시에서는 어떠한 경우에도 모두 쿼리합니다.) 데이터 자체는 간단합니다. { _id : ObjectId(4f993d1c5656d3320851aadb), userid : 80ec39f7-37e2-4b13-b442-6bea57472537, user-agent : Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 1.1.4322), ip : 127.0.0..

내 컴퓨터에는 충분한 RAM이 없는 중간 크기 파일 (4GB CSV)이 있습니다 (64-bit Windows의 8GB). 과거에는 클러스터 노드에로드하여 읽었지만, 새로운 클러스터는 하드웨어가 각 머신당 16GB를 가지고 있음에도 불구하고 프로세스를 임의로 4GB의 RAM으로 제한하는 것 같습니다. 따라서 단기적인 해결책이 필요합니다. 가용 메모리 제한에 맞게 일부 CSV 파일을 R로 읽을 수 있는 방법이 있을까요? 이렇게하면 파일의 1/3을 한 번에 읽고 필요한 행과 열로 하위 집합을 만든 다음 다음 1/3을 읽을 수 있습니다. 큰 메모리 트릭을 사용하여 전체 파일을 읽을 수 있다는 것을 알려주신 댓글러에게 감사드립니다: R에서 매우 큰 테이블을 빠르게 데이터프레임으로 읽기나는 몇 가지 다른 해결 방법..

나는 R에서 초보입니다. 나는 이 스타일로 리스트에 타임스탬프를 가지고 있습니다: [1] 2011-10-04 17:23:28 CEST 2011-10-04 17:26:13 CEST 2011-10-05 16:17:34 CEST 2011-10-07 09:59:37 CEST 이제 한 달에 얼마나 많은 이벤트가 발생하는지 보여주는 그래프를 그리고 싶습니다. 각 타임스탬프는 하나의 이벤트를 나타내며 이벤트가 없는 달이 있을 수 있습니다 (이는 0으로 표시되어야 함).답변 1벡터 시간을 데이터프레임의 열에 넣을 것입니다. 아래의 예시 데이터에는 현재 시간과 두 년 후 사이의 임의의 시간을 가진 1000개의 타임스탬프가 있습니다. dat = data.frame(timestamp = Sys.time() + sort(ro..