HDFS에서 데이터를 다른 HDFS로 복사하는 방법은 무엇인가요?

저는 두 개의 HDFS 설정이 있고, HDFS1에서 HDFS2로 테이블을 복사하려고 합니다. HDFS1에서 HDFS2로 데이터를 복사하는 방법은 무엇인가요? Sqoop 또는 다른 명령 줄을 통해 가능한가요?

답변 1

DistCp (분산 복사)는 클러스터 간 데이터 복사에 사용되는 도구입니다. 맵리듀스를 사용하여 데이터의 분산, 오류 처리 및 복구, 보고를 수행합니다. 이는 파일과 디렉토리 목록을 맵 작업의 입력으로 확장하여 소스 목록에서 지정된 파일의 파티션을 각각 복사합니다.

사용법: $ hadoop distcp <src> <dst>

예제: $ hadoop distcp hdfs://nn1:8020/file1 hdfs://nn2:8020/file2

nn1의 file1이 nn2로 file2라는 파일명으로 복사됩니다.

지금을 기준으로 Distcp는 최고의 도구입니다. Sqoop은 관계형 데이터베이스에서 HDFS로 데이터를 복사하거나 그 반대로 복사하는 데 사용되지만 HDFS에서 HDFS로는 사용되지 않습니다.

자세한 정보:

• http://hadoop.apache.org/docs/r1.2.1/distcp.html


• http://hadoop.apache.org/docs/r1.2.1/distcp2.html

두 가지 버전이 있습니다 - distcp2에서의 런타임 성능이 distcp와 비교하여 더 우수합니다.

답변 2

두 개의 HDFS 사이에서 데이터를 복사하는 방법에 대해 알아보겠습니다. HDFS는 Hadoop Distributed File System의 약자이며, 대용량 데이터를 저장하고 처리하는 데 사용되는 분산 파일 시스템입니다. 복사 작업은 HDFS 간에 데이터 이동을 용이하게 해 줍니다. 이번에는 어떻게 두 개의 HDFS 사이에서 데이터를 복사할 수 있는지 알아보도록 하겠습니다.
첫 번째로, 두 개의 HDFS 접속을 설정해야 합니다. 각각의 HDFS는 별도의 클러스터로 운영되며, 접속 정보가 필요합니다. Hadoop 클러스터에 익숙하지 않은 경우, 시스템 관리자나 기술 지원팀에 문의하여 해당 정보를 확인하는 것이 좋습니다.
두 번째로, 데이터를 복사할 디렉토리를 선택해야 합니다. 복사 작업을 수행할 디렉토리는 원본 HDFS와 대상 HDFS 모두에 존재해야 합니다. 원본 HDFS의 디렉토리 경로와 대상 HDFS의 디렉토리 경로를 저장하고 기억하는 것이 중요합니다.
세 번째로, 데이터를 복사하는 명령어를 실행해야 합니다. Hadoop CLI(Command-Line Interface)를 사용하여 데이터를 복사할 수 있습니다. 다음은 Hadoop CLI에서 제공하는 복사 명령어 예시입니다:
```
hadoop distcp hdfs://원본-HDFS-주소/원본-디렉토리 경로 hdfs://대상-HDFS-주소/대상-디렉토리 경로
```
위 명령어에서 `원본-HDFS-주소`와 `대상-HDFS-주소`를 각각 원본 HDFS와 대상 HDFS의 주소로 변경하면 됩니다. 마찬가지로 `원본-디렉토리 경로`와 `대상-디렉토리 경로` 또한 실제 경로로 수정해야 합니다.
마지막으로, 데이터 복사 작업을 실행합니다. 명령어를 입력한 후, Hadoop CLI가 실행 중인 동안 작업의 진행 상황을 확인할 수 있습니다. 복사 작업이 완료되면 원본 HDFS의 데이터가 대상 HDFS로 복사됩니다.
위와 같은 방법을 사용하여 두 개의 HDFS 사이에서 데이터를 쉽게 복사할 수 있습니다. 이를테면, 원본 HDFS에 저장된 대용량 데이터를 다른 HDFS로 복사하여 분석이나 처리 작업을 수행할 수 있습니다. 하지만 데이터 용량과 네트워크 대역폭에 따라 복사 작업에는 시간이 소요될 수 있으므로, 이 점을 유념해야 합니다.
요약하자면, HDFS 간 데이터 복사를 위해서는 두 개의 HDFS 접속 정보를 확인하고, 복사할 디렉토리를 선택한 후 Hadoop CLI를 사용하여 복사 작업을 실행합니다. 데이터 용량과 네트워크 속도에 따라 복사 작업은 시간이 소요될 수 있으므로, 이 점을 고려하여 작업을 계획하시기 바랍니다.