Spark on yarn 개념 이해

나는 스파크가 YARN 클러스터/클라이언트에서 어떻게 실행되는지 이해하려고 노력하고 있습니다. 내 마음속에는 다음과 같은 질문이 있습니다.

1. YARN 클러스터의 모든 노드에 스파크가 설치되어야만 하는 것인가요? 저는 그렇다고 생각합니다. 클러스터의 워커 노드는 작업을 실행하고, 드라이버가 클러스터로 보낸 스파크 애플리케이션의 코드(스파크 API)를 해석할 수 있어야하기 때문입니다.




2. 문서에는 HADOOP_CONF_DIR 또는 YARN_CONF_DIR이 (클라이언트 측) Hadoop 클러스터의 구성 파일이 있는 디렉토리를 가리켜야한다고 나와 있습니다. 클라이언트 노드가 클러스터로 작업을 보낼 때 왜 Hadoop을 설치해야할까요?

답변 1

YARN 클라이언트 모드

이 테이블은 이러한 모드 간의 차이를 간결하게 나열합니다:

사진 출처

2. 문서에서 HADOOP_CONF_DIR 또는 YARN_CONF_DIR이 Hadoop 클러스터의 (클라이언트 측) 구성 파일을 포함하는 디렉토리를 가리키도록
   확인하세요라고 합니다. 클라이언트 노드가 작업을 클러스터로 전송할 때 왜 Hadoop을 설치해야 하나요?

Hadoop 설치는 의무적이지 않습니다. 하지만 구성(configuration)은 의무적입니다(모두가 아닌 일부만). 우리는 그것들을 Gateway 노드라고 부를 수 있습니다. 주요한 두 가지 이유 때문입니다.

• HADOOP_CONF_DIR 디렉토리에 포함된 구성(configuration)은 YARN 클러스터로 전달되어 애플리케이션에 의해 사용되는 모든 컨테이너가 동일한 구성을 사용합니다.


• YARN 모드에서 ResourceManager의 주소는 Hadoop 구성(yarn-default.xml)에서 가져옵니다. 따라서 --master 매개변수는 yarn입니다.

업데이트: (2017-01-04)

Spark 2.0+는 프로덕션 배포에 더 이상 fat assembly jar를 필요로하지 않습니다. 출처

답변 2

Spark on YARN은 Apache Spark의 한 구현체이며, Hadoop 클러스터에서 실행되는 Spark 작업을 관리하는 데 사용됩니다. 이는 대규모 데이터 처리를 위한 효율적인 방법을 제공하여 기업이 데이터를 처리, 분석 및 변환할 수 있도록 도와줍니다.
Spark on YARN은 Hadoop YARN(Yet Another Resource Negotiator) 아키텍처 위에서 작동하며, 클러스터 리소스를 균형 있게 분배하고 작업 간에 리소스 공유를 조절하는 역할을 수행합니다. 이를 통해 사용자는 별도의 인프라 구축 없이 Spark 작업을 실행하고 관리할 수 있습니다.
Spark on YARN은 여러 가지 이점을 제공합니다. 첫째, Spark은 메모리에서 데이터를 처리하기 때문에 기존의 디스크 기반 시스템에 비해 더 빠른 처리 속도를 제공합니다. 이를 통해 기업은 더 빠른 응답 시간을 얻을 수 있습니다.
둘째, Spark on YARN은 Hadoop 클러스터에서 Spark 작업을 실행할 수 있기 때문에 기존 하둡 환경과의 호환성을 유지할 수 있습니다. 이는 기업이 기존의 하둡 클러스터에서 Spark로 마이그레이션하는 데 도움이 됩니다.
셋째, Spark on YARN은 다양한 애플리케이션에 유연하게 적용될 수 있습니다. 예를 들어, Spark on YARN은 배치 처리 작업, 인터랙티브 분석, 스트리밍 및 머신 러닝 등 다양한 작업 부하에 사용될 수 있습니다. 이는 기업이 다양한 데이터 처리 요구 사항에 대해 Spark를 효과적으로 사용할 수 있다는 것을 의미합니다.
Spark on YARN은 기업에 대한 여러 가지 도전 과제를 해결할 수 있습니다. 첫째, 이는 기업이 대규모 데이터를 효율적으로 처리하여 보다 정확하고 신속한 의사 결정을 내릴 수 있도록 도와줍니다.
둘째, Spark on YARN은 기업이 손쉽게 확장 가능한 인프라를 구성할 수 있게 해줍니다. 이는 데이터 양이 증가함에 따라 클러스터의 리소스를 유연하게 조절할 수 있는 장점을 제공합니다.
셋째, Spark on YARN은 기업이 비용을 줄이고 리소스를 효율적으로 사용할 수 있도록 도와줍니다. Spark 작업은 클러스터의 리소스를 최대한 활용하고 여러 작업 간에 리소스를 공유하여 오버헤드를 최소화합니다.
마지막으로, Spark on YARN은 개발자에게 편리성을 제공합니다. 개발자는 Spark API와 Spark 쉘을 사용하여 Spark 작업을 구성하고 실행할 수 있으며, YARN은 내부적으로 리소스 관리 작업을 처리합니다.
Spark on YARN은 대용량 데이터 처리를 위한 효율적인 방법을 제공하는 동시에 기존 하둡 환경과의 호환성을 유지합니다. 이를 통해 기업은 데이터를 더욱 효율적으로 처리하고, 가치 있는 통찰력을 얻을 수 있습니다. Spark on YARN은 기업의 데이터 처리 요구 사항을 충족시키기 위한 필수 도구로 여겨질 수 있습니다.