스택큐힙리스트

우리가 600만 개의 레코드가 있는 테이블이 있다고 가정해 봅시다. 정수형 열이 16개이고 몇 개의 텍스트 열이 있습니다. 읽기 전용 테이블이므로 각 정수형 열에는 인덱스가 있습니다. 각 레코드는 약 50-60바이트 정도입니다. 테이블 이름은 아이템입니다. 서버는: 12GB RAM, 1.5TB SATA, 4코어로 구성되어 있으며 모두 postgres를 위한 서버입니다. 이 데이터베이스에는 많은 테이블이 있으므로 RAM은 모든 데이터베이스를 커버하지 못합니다. 테이블 아이템에 a_elements라는 열 (큰 정수형 배열 유형)을 추가하고 싶습니다. 이 열에는 각 레코드당 최대 50-60개의 요소가 있을 것입니다. 그 후에 나는 이 열에 GIN 인덱스를 생성하고 일반적인 쿼리는 다음과 같을 것이다: sele..

나는 방금 웹 서버 로그 파일의 통계를 얻기에 이상적인 도구인 R에 대해 알게 되었습니다. zoo와 plyr 등의 여러 라이브러리를 살펴보았지만, 타임스탬프 데이터를 집계하는 간단한 해결책을 제공하는 것은 없었습니다. 로그 파일과 유사한 데이터를 분석하는 데 중점을 둔 R 라이브러리나 튜토리얼 또는 문서가 있을까요? 시간을 조각으로 나누어 집계하는 데 중점을 둔 것이 좋습니다. 가능한 사용 사례: 하루 평균 요청 시간 하루 동안 세션 당 평균 요청 수 이번 주 가장 느린 요청 가져오기 ... 답변 1이러한 종류의 타임스탬프 데이터 처리 질문은 실제로 매우 흔합니다. 질문이 모호하기 때문에 내 대답은 몇 가지 지시 사항으로 제한됩니다. 타임 시리즈를 집계하는 예제를 보려면 (이는 바로 제가 작성한 답변입니..

안녕하세요 모두들, 그리고 미리 감사드립니다. 저는 NoSQL 게임에 새로 입문한 초보자입니다만, 현재 다니고 있는 회사에서는 대용량 데이터의 집합 비교를 맡아 과업을 부여했습니다. 저희 시스템은 고객 태그 집합과 대상 태그 집합을 갖고 있습니다. 태그는 8자리 숫자입니다. 고객 태그 집합은 최대 300개의 태그를 가지지만 평균적으로 100개의 태그를 가지고 있습니다. 대상 태그 집합은 최대 300개의 태그를 가지지만 평균적으로 40개의 태그를 가지고 있습니다. 미리 계산하는 것은 선택지가 아닙니다. 우리는 약 10억 사용자의 잠재 고객 기반을 목표로 하고 있기 때문입니다. (이 태그들은 계층 구조를 가지고 있으므로 하나의 태그를 가지고 있다는 것은 그 태그의 부모 및 조상 태그를 모두 가지고 있다는 것..

저의 컨텍스트는 생물정보학이며 특히 차세대 시퀀싱입니다. 하지만 문제는 일반적이므로 예시로 로그 파일을 사용하겠습니다. 이 파일은 매우 큽니다 (기가바이트 단위로 압축되어 있으므로 메모리에 맞지 않습니다) 하지만 파싱하기 쉽습니다 (각 줄은 항목입니다) 따라서 다음과 같이 간단하게 작성할 수 있습니다: parse :: Lazy.ByteString -> [LogEntry] 이제 로그 파일에서 계산하려는 많은 통계가 있습니다. 가장 쉬운 방법은 다음과 같이 별도의 함수를 작성하는 것입니다: totalEntries = length nrBots = sum . map fromEnum . map isBotEntry averageTimeOfDay = histogram . map extractHour 이 모든 함수들은..