스택큐힙리스트

저는 Hbase 쉘에 여러 개의 테이블이 있습니다. 이 테이블을 파일 시스템으로 복사하고 싶습니다. 일부 테이블은 100GB를 초과합니다. 하지만 로컬 파일 시스템에는 남은 공간이 55GB만 남아 있습니다. 그러므로 hbase 테이블의 크기를 알고 싶어서 작은 크기의 테이블만 내보낼 수 있기를 원합니다. 어떤 제안이든 환영합니다. 감사합니다, 가우탐답변 1다음을 시도하세요. hdfs dfs -du -h /hbase/data/default/ (또는 /hbase/ - 사용하는 HBase 버전에 따라 다름) 이 명령은 테이블의 파일이 사용하는 공간을 보여줍니다. 도움이 되었으면 좋겠습니다.답변 2HBase 테이블 크기를 결정하는 방법에 대해 알아보겠습니다. HBase 테이블의 크기를 결정하는 몇 가지 방법이 ..

나는 한 대의 노드에서 잘 작동하는 작은 Scala 프로그램을 가지고 있습니다. 그러나 이것을 여러 노드에서 실행되도록 확장하려고 합니다. 이것은 내 첫 번째 시도입니다. Spark에서 RDD가 작동하는 방법을 이해하려고 하기 때문에, 이 질문은 이론을 중심으로 하며 100% 정확하지 않을 수 있습니다. 예를 들어, 다음과 같이 RDD를 생성한다고 가정해 봅시다: val rdd = sc.textFile(file) 이제 이렇게 한 번 해 놓으면, 모든 노드가 파일 경로에 액세스 할 수 있다고 가정할 때, file에서의 파일은 이제 노드들 사이로 분할되어 있는 것을 의미합니까? 두 번째로, RDD의 객체 수를 계산하려고 합니다 (간단합니다). 그러나 RDD의 객체에 적용해야할 계산에 사용해야하는 해당 수를 ..

저는 대규모이고 대부분 압축이 불가능한 시계열 데이터로 프로젝트를 조명하고 있으며, Django + Postgres와 원시 SQL을 사용하는 것이 옳은 결정인지 궁금합니다. 저는 시계열 데이터가 시간당 약 2천 개의 객체이며, 매 시간마다 발생합니다. 이는 매년 약 200만 개의 행을 저장하며, 1) 연결을 통해 데이터를 분석하기 위해 데이터를 슬라이스 할 수 있으며, 2) Django로 제공되는 웹에서 기본 개요 작업을 수행 할 수 있도록 합니다. 가장 좋은 아이디어는 Django를 개체 자체에 사용하고 관련된 대규모 시계열 데이터를 처리하기 위해 원시 SQL로 전환하는 것입니다. 나는 이것을 하이브리드 접근법으로 보입니다. 이것은 경고 신호일 수도 있지만, 긴 시리즈의 데이터 샘플에 대해 전체 ORM..

테이블의 문자열 열의 출력이 길이 13의 문자열이 되어야합니다. 어떤 길이든 상관없이 남은 문자열에는 0을 넣어야합니다... 다음 코드를 hive 쿼리에서 사용해보려고 했지만 원하는 출력을 얻지 못했습니다 right('0000000000000' + ProductID, 13) 도움이 필요합니다. 감사합니다답변 1하이브에는 내장 lpad 및 rpad 함수가 있습니다. 여러분의 경우 다음을 사용할 수 있습니다: lpad(ProductId, 13, 0) 또는 13자로 잘라내야 할 수도 있으므로 이것을 right 함수로 감쌀 수 있습니다.답변 2하이브는 널리 사용되는 데이터웨어 하우스 시스템 중 하나입니다. 하이브를 사용하여 데이터를 저장하고 처리하면 많은 시간과 비용을 절약할 수 있습니다. 하이브는 데이터 처리..