스택큐힙리스트

저는 대규모이고 대부분 압축이 불가능한 시계열 데이터로 프로젝트를 조명하고 있으며, Django + Postgres와 원시 SQL을 사용하는 것이 옳은 결정인지 궁금합니다. 저는 시계열 데이터가 시간당 약 2천 개의 객체이며, 매 시간마다 발생합니다. 이는 매년 약 200만 개의 행을 저장하며, 1) 연결을 통해 데이터를 분석하기 위해 데이터를 슬라이스 할 수 있으며, 2) Django로 제공되는 웹에서 기본 개요 작업을 수행 할 수 있도록 합니다. 가장 좋은 아이디어는 Django를 개체 자체에 사용하고 관련된 대규모 시계열 데이터를 처리하기 위해 원시 SQL로 전환하는 것입니다. 나는 이것을 하이브리드 접근법으로 보입니다. 이것은 경고 신호일 수도 있지만, 긴 시리즈의 데이터 샘플에 대해 전체 ORM..

테이블의 문자열 열의 출력이 길이 13의 문자열이 되어야합니다. 어떤 길이든 상관없이 남은 문자열에는 0을 넣어야합니다... 다음 코드를 hive 쿼리에서 사용해보려고 했지만 원하는 출력을 얻지 못했습니다 right('0000000000000' + ProductID, 13) 도움이 필요합니다. 감사합니다답변 1하이브에는 내장 lpad 및 rpad 함수가 있습니다. 여러분의 경우 다음을 사용할 수 있습니다: lpad(ProductId, 13, 0) 또는 13자로 잘라내야 할 수도 있으므로 이것을 right 함수로 감쌀 수 있습니다.답변 2하이브는 널리 사용되는 데이터웨어 하우스 시스템 중 하나입니다. 하이브를 사용하여 데이터를 저장하고 처리하면 많은 시간과 비용을 절약할 수 있습니다. 하이브는 데이터 처리..

저는 상당량의 데이터(100GB)를 저장하기 위해 Cassandra 2.0.9를 사용하고 있습니다. 이 데이터를 빠른 방법으로 CSV로 내보내고 싶습니다. 다음을 시도해 보았습니다: sstable2json - 이 도구는 데이터를 하나의 행에 넣고 복잡한 스키마를 사용하기 때문에 해석하기 어려운 매우 큰 JSON 파일을 생성합니다. 데이터 파일 크기 300MB에 대해서 약 2GB의 json 파일이 생성됩니다. 덤프하는 데 많은 시간이 소요되며 Cassandra는 내부 메커니즘에 따라 소스 파일 이름을 변경하는 경향이 있습니다. COPY - 많은 레코드로 인해 빠른 EC2 인스턴스에서 시간 초과가 발생합니다. CAPTURE - 위와 동일하게 시간 초과가 발생합니다. 페이징으로 읽기 - 이를 수행하기 위해 t..

닫힘. 이 질문은 의견 기반으로 되어있습니다. 현재로선 답변을 받을 수 없습니다. 이 질문을 개선하고 싶으신가요? 사실과 인용을 통해 질문을 업데이트하여 답변할 수 있도록 만들어주세요. 이 게시글을 편집하십시오. 닫힘 7년 전. 이 질문을 개선하기 위키피디아에 언급된 대로 데이터 마이닝 프로세스의 전반적인 목표는 데이터 세트에서 정보를 추출하고 이를 이해 가능한 구조로 변환하여 추가적인 사용을 위해 활용하는 것입니다. 빅 데이터와 어떤 관련이 있나요? Hadoop이 병렬로 데이터 마이닝을 수행한다고 말해도 되나요?답변 1이것은 여러 문제에 적용되므로, Hadoop에서의 실제 데이터 마이닝은 잘 동작하지 않는 것 같습니다. 모두가 이것을 시도하고 많은 회사들이 이 제품을 판매하지만, 비-빅 버전보다는 그리..