스택큐힙리스트

더 자세히 말하면, 우리가 처음으로 /increment 엔드포인트를 호출할 때 두 작업자 중 하나만이 요청에 응답하는 것을 볼 수 있습니다 (이게 맞습니다. 두 작업자가 같은 작업을 수행하는 것은 원하지 않습니다). 그러나 두 개의 별도한 meta 객체가 있기 때문에 두 개 중 하나만 증가하게 됩니다. /report 엔드포인트를 호출할 때, 어떤 작업자가 요청에 응답하느냐에 따라 1 또는 0이 반환됩니다. 따라서 문제는, 작업자들이 어떻게 동일한 객체를 공유하고 작업할 수 있는지입니다. 부가적인 질문으로, 위에서 언급한 문제는 /reset 엔드포인트에도 영향을 미칩니다. 이 엔드포인트를 호출하면 작업자 중 하나만 객체를 재설정합니다. 모든 작업자가 엔드포인트 호출에 응답하도록 강제할 방법이 있는지 궁금합..

Spark와 Hadoop 사이에는 의존성이 있나요? 아니라면, Hadoop 없이 Spark를 실행할 때 놓치게 되는 기능은 있나요?답변 1스파크는 하둡 없이 실행할 수 있지만, 그 중 일부 기능은 하둡의 코드에 의존합니다 (예: Parquet 파일 처리). 메소스와 S3에서 스파크를 실행하고 있으며, 설정하는 것은 약간 까다로웠지만 한 번 설정하면 정말 잘 작동합니다 (정확한 설정 방법에 대한 요약은 여기에서 확인할 수 있습니다). (편집) 참고: 2.3.0 버전부터 스파크는 쿠버네티스에 대한 기본 지원도 추가되었습니다.답변 2아파치 스파크는 하둡 없이 사용할 수 있나요? 아파치 스파크는 분산 데이터 처리를 위한 인기있는 오픈 소스 프레임워크입니다. 많은 사람들이 스파크를 하둡과 함께 사용하는 것을 보통..

작업은 다음 구성으로 실행되었습니다: --master yarn-client --executor-memory 19G --executor-cores 7 --num-executors 3 (데이터 노드당 실행자 수, 가능한 만큼 사용) --master yarn-client --executor-memory 19G --executor-cores 4 --num-executors 3 (코어 수 감소) --master yarn-client --executor-memory 4G --executor-cores 2 --num-executors 12 (적은 코어, 많은 실행자) 경과 시간: 50분 15초 55분 48초 31분 23초 놀랍게도, (3)이 훨씬 빨랐습니다. (1)은 셔플링 시 상호 실행자 통신이 덜 발생하기 때문에..

나는 한 대의 노드에서 잘 작동하는 작은 Scala 프로그램을 가지고 있습니다. 그러나 이것을 여러 노드에서 실행되도록 확장하려고 합니다. 이것은 내 첫 번째 시도입니다. Spark에서 RDD가 작동하는 방법을 이해하려고 하기 때문에, 이 질문은 이론을 중심으로 하며 100% 정확하지 않을 수 있습니다. 예를 들어, 다음과 같이 RDD를 생성한다고 가정해 봅시다: val rdd = sc.textFile(file) 이제 이렇게 한 번 해 놓으면, 모든 노드가 파일 경로에 액세스 할 수 있다고 가정할 때, file에서의 파일은 이제 노드들 사이로 분할되어 있는 것을 의미합니까? 두 번째로, RDD의 객체 수를 계산하려고 합니다 (간단합니다). 그러나 RDD의 객체에 적용해야할 계산에 사용해야하는 해당 수를 ..