스택큐힙리스트

Spark와 Hadoop 사이에는 의존성이 있나요? 아니라면, Hadoop 없이 Spark를 실행할 때 놓치게 되는 기능은 있나요?답변 1스파크는 하둡 없이 실행할 수 있지만, 그 중 일부 기능은 하둡의 코드에 의존합니다 (예: Parquet 파일 처리). 메소스와 S3에서 스파크를 실행하고 있으며, 설정하는 것은 약간 까다로웠지만 한 번 설정하면 정말 잘 작동합니다 (정확한 설정 방법에 대한 요약은 여기에서 확인할 수 있습니다). (편집) 참고: 2.3.0 버전부터 스파크는 쿠버네티스에 대한 기본 지원도 추가되었습니다.답변 2아파치 스파크는 하둡 없이 사용할 수 있나요? 아파치 스파크는 분산 데이터 처리를 위한 인기있는 오픈 소스 프레임워크입니다. 많은 사람들이 스파크를 하둡과 함께 사용하는 것을 보통..

작업은 다음 구성으로 실행되었습니다: --master yarn-client --executor-memory 19G --executor-cores 7 --num-executors 3 (데이터 노드당 실행자 수, 가능한 만큼 사용) --master yarn-client --executor-memory 19G --executor-cores 4 --num-executors 3 (코어 수 감소) --master yarn-client --executor-memory 4G --executor-cores 2 --num-executors 12 (적은 코어, 많은 실행자) 경과 시간: 50분 15초 55분 48초 31분 23초 놀랍게도, (3)이 훨씬 빨랐습니다. (1)은 셔플링 시 상호 실행자 통신이 덜 발생하기 때문에..