스택큐힙리스트

나는 스파크가 YARN 클러스터/클라이언트에서 어떻게 실행되는지 이해하려고 노력하고 있습니다. 내 마음속에는 다음과 같은 질문이 있습니다. YARN 클러스터의 모든 노드에 스파크가 설치되어야만 하는 것인가요? 저는 그렇다고 생각합니다. 클러스터의 워커 노드는 작업을 실행하고, 드라이버가 클러스터로 보낸 스파크 애플리케이션의 코드(스파크 API)를 해석할 수 있어야하기 때문입니다. 문서에는 HADOOP_CONF_DIR 또는 YARN_CONF_DIR이 (클라이언트 측) Hadoop 클러스터의 구성 파일이 있는 디렉토리를 가리켜야한다고 나와 있습니다. 클라이언트 노드가 클러스터로 작업을 보낼 때 왜 Hadoop을 설치해야할까요? 답변 1 YARN 클라이언트 모드 이 테이블은 이러한 모드 간의 차이를 간결하게 ..