카산드라에서 대량의 데이터를 CSV로 내보내세요.

저는 상당량의 데이터(100GB)를 저장하기 위해 Cassandra 2.0.9를 사용하고 있습니다. 이 데이터를 빠른 방법으로 CSV로 내보내고 싶습니다. 다음을 시도해 보았습니다:

• sstable2json - 이 도구는 데이터를 하나의 행에 넣고 복잡한 스키마를 사용하기 때문에 해석하기 어려운 매우 큰 JSON 파일을 생성합니다. 데이터 파일 크기 300MB에 대해서 약 2GB의 json 파일이 생성됩니다. 덤프하는 데 많은 시간이 소요되며 Cassandra는 내부 메커니즘에 따라 소스 파일 이름을 변경하는 경향이 있습니다.


• COPY - 많은 레코드로 인해 빠른 EC2 인스턴스에서 시간 초과가 발생합니다.


• CAPTURE - 위와 동일하게 시간 초과가 발생합니다.


• 페이징으로 읽기 - 이를 수행하기 위해 timeuuid를 사용했지만 초당 약 1.5천 개의 레코드가 반환됩니다.

저는 빠른 스토리지, 15GB의 RAM 및 4개의 코어를 가진 Amazon EC2 인스턴스를 사용하고 있습니다.

Cassandra에서 기가바이트의 데이터를 CSV로 내보내는 더 좋은 옵션이 있을까요?

답변 1

2020년 업데이트: DataStax는 Cassandra (Cassandra 2.1부터) 및 DSE (DSE 4.7 / 4.8부터)에서 데이터를 로딩 및 언로딩하기 위한 특수 도구 인 DSBulk를 제공합니다. 가장 간단한 경우, 명령 줄은 다음과 같습니다:

dsbulk unload -k keyspace -t table -url path_to_unload

DSBulk는 로딩 / 언로딩 작업에 매우 최적화되어 있으며, 압축 된 파일로부터 가져오기 / 내보내기, 사용자 정의 쿼리 제공 등 많은 옵션을 제공합니다.

DSBulk에 관한 일련의 블로그 게시물이 있습니다. 더 많은 정보와 예제를 제공할 수 있습니다: 1, 2, 3, 4, 5, 6

답변 2

대규모 데이터를 카산드라에서 CSV로 내보내기
카산드라는 대량의 데이터를 저장하고 처리하기 위한 분산형 NoSQL 데이터베이스 시스템으로서, 현대적인 기업과 조직에서 빠르고 확장 가능한 데이터 관리 솔루션으로 사용되고 있습니다. 때로는 카산드라 데이터를 다른 시스템으로 내보내어 추가 분석이나 보고서 작성에 활용해야 하는 경우가 있을 수 있습니다. 이를 위해 주로 CSV(콤마로 구분된 값) 형식으로 데이터를 내보내는 것이 일반적입니다. 이번 글에서는 카산드라에서 대량의 데이터를 CSV 형식으로 내보내는 과정에 대해 상세히 알아보도록 하겠습니다.
카산드라에서 데이터를 CSV로 내보내기 위해서는 몇 가지 단계를 거쳐야 합니다. 우선, 내보낼 데이터를 선택하기 위해 적절한 쿼리를 작성해야 합니다. 이는 데이터베이스 스키마와 요구사항에 따라 다르지만, 일반적으로 SELECT 문을 사용하여 원하는 데이터를 선택합니다. 쿼리를 작성할 때는 데이터 선택의 효율성과 필요한 필드 포맷을 고려해야 합니다.
다음으로, 선택한 데이터를 CSV 파일로 내보내기 위해 적절한 도구나 라이브러리를 사용해야 합니다. Python 프로그래밍 언어에서는 Pandas, csv, 또는 Cassandracqlsh 패키지를 사용하여 데이터를 CSV로 내보내는데 도움이 될 수 있습니다. 이러한 도구는 쿼리 실행 및 결과를 CSV 형식으로 변환하는 기능을 제공합니다. 이 과정에서 데이터를 정리하고 필요한 형식으로 구성하는 것이 중요합니다.
데이터를 CSV 파일로 내보내면 추가적인 처리를 위해 다른 시스템으로 이동시킬 수 있습니다. 이를위해 파일을 서버에 업로드하거나 네트워크를 통해 전송하는 등의 추가 단계가 필요할 수 있습니다. 이 단계에서 데이터의 보안을 고려하여 암호화 및 접근 제한을 설정하는 것이 좋습니다.
카산드라에서 대량의 데이터를 CSV로 내보내는 과정은 데이터 마이그레이션 작업을 수행할 때 매우 중요합니다. 따라서 데이터 선택과 변환, 그리고 파일 전송과 보안에 대한 주의가 필요합니다. 이를 통해 기업과 조직은 카산드라에서 얻은 가치 있는 데이터를 추가 분석 및 보고서 작성에 활용할 수 있습니다.
종합하자면, 카산드라에서 대량의 데이터를 CSV로 내보내기 위해서는 적절한 쿼리 작성, 데이터 정리와 파일 형식 변환, 그리고 안전한 파일 전송이 필요합니다. 이러한 작업은 데이터 마이그레이션에 필수적인 요소이며, 카산드라에서 얻은 데이터를 유용한 정보로 변환하는 데 중요한 역할을 합니다. 기업과 조직은 이러한 프로세스를 최적화하여 데이터 분석과 보고를 강화할 수 있습니다.