어떻게 실행 중인 Spark 애플리케이션을 종료할 수 있나요?

제가 실행 중인 Spark 애플리케이션이 있어서 다른 애플리케이션에게 할당되지 않고 모든 코어를 점유하고 있습니다.

빠른 조사를 해보니 YARN kill 또는 /bin/spark-class를 사용하여 해당 명령을 종료하는 것을 제안했습니다. 그러나 저는 CDH 버전을 사용하고 있으며 /bin/spark-class가 존재하지 않습니다. 또한 YARN 애플리케이션을 종료하는 것도 작동하지 않습니다.

누가 이 문제를 함께 해결해 줄 수 있을까요?

답변 1

• 스파크 스케줄러에서 애플리케이션 ID를 복사하여 붙여넣기하십시오. 예를 들어, application_1428487296152_25597


• 작업을 시작한 서버에 연결하십시오.


• yarn application -kill application_1428487296152_25597

답변 2

제목: 스파크 애플리케이션을 종료하는 방법 - SEO 고려한 한국어 글 작성
서론:
스파크는 대용량의 데이터 처리를 위한 분산처리 플랫폼으로 인기를 얻고 있습니다. 때로는 실행 중인 스파크 애플리케이션을 종료해야 하는 상황이 발생할 수 있습니다. 이 글에서는 스파크 애플리케이션을 정상적으로 종료하는 방법을 알려드리겠습니다. 자세한 내용을 살펴보면서 SEO에도 신경을 써보도록 하겠습니다.
본론:
1. Spark UI를 통한 애플리케이션 종료:
먼저 스파크 UI에서 실행 중인 애플리케이션을 확인합니다. 웹 브라우저에서 `http://<스파크마스터주소>:4040`으로 접속하면 스파크 UI에 접근할 수 있습니다. Spark UI에서 우리가 종료하려는 애플리케이션을 찾고, 해당 애플리케이션 옆의 번호를 클릭합니다. 그런 다음, 화면 상단에 위치한 애플리케이션 종료 버튼을 클릭합니다. 이 명령을 실행하면 해당 애플리케이션은 종료됩니다.
2. 스파크 셸 또는 REPL을 통한 종료:
스파크 애플리케이션은 스파크 셸이나 REPL을 통해 실행되기도 합니다. 이 경우 애플리케이션 실행 창 또는 터미널에서 `Ctrl + C` 키를 눌러 애플리케이션을 종료할 수 있습니다. 종료 후 Y 를 입력하여 종료 여부를 확인합니다.
3. kill 명령어를 사용한 종료:
스파크 애플리케이션의 프로세스 ID(PID)를 알고 있다면, 터미널에서 `kill ` 명령어를 실행하여 애플리케이션을 강제로 종료할 수 있습니다. PID를 얻으려면 `ps -ef | grep spark-submit` 명령어를 실행하고, 출력된 내용에서 해당 애플리케이션의 PID를 찾아 사용합니다.
결론:
스파크 애플리케이션을 종료하기 위해 스파크 UI를 사용하거나, 스파크 셸 또는 REPL을 통해 직접 종료할 수 있습니다. 또는 터미널에서 kill 명령어를 사용하여 애플리케이션을 종료할 수도 있습니다. 실행 중인 스파크 애플리케이션을 안전하게 종료하는 방법에 대해 알아보았습니다. 본 글이 여러분에게 도움이 되길 바랍니다.
키워드: 스파크, 애플리케이션 종료, 스파크 UI, 스파크 셸, REPL, PID, 종료