스택큐힙리스트

더 자세히 말하면, 우리가 처음으로 /increment 엔드포인트를 호출할 때 두 작업자 중 하나만이 요청에 응답하는 것을 볼 수 있습니다 (이게 맞습니다. 두 작업자가 같은 작업을 수행하는 것은 원하지 않습니다). 그러나 두 개의 별도한 meta 객체가 있기 때문에 두 개 중 하나만 증가하게 됩니다. /report 엔드포인트를 호출할 때, 어떤 작업자가 요청에 응답하느냐에 따라 1 또는 0이 반환됩니다. 따라서 문제는, 작업자들이 어떻게 동일한 객체를 공유하고 작업할 수 있는지입니다. 부가적인 질문으로, 위에서 언급한 문제는 /reset 엔드포인트에도 영향을 미칩니다. 이 엔드포인트를 호출하면 작업자 중 하나만 객체를 재설정합니다. 모든 작업자가 엔드포인트 호출에 응답하도록 강제할 방법이 있는지 궁금합..

작업은 다음 구성으로 실행되었습니다: --master yarn-client --executor-memory 19G --executor-cores 7 --num-executors 3 (데이터 노드당 실행자 수, 가능한 만큼 사용) --master yarn-client --executor-memory 19G --executor-cores 4 --num-executors 3 (코어 수 감소) --master yarn-client --executor-memory 4G --executor-cores 2 --num-executors 12 (적은 코어, 많은 실행자) 경과 시간: 50분 15초 55분 48초 31분 23초 놀랍게도, (3)이 훨씬 빨랐습니다. (1)은 셔플링 시 상호 실행자 통신이 덜 발생하기 때문에..

도커 1.1.2 (최신 버전)에서 컨테이너를 중지하지 않고 분리하는 올바른 방법은 무엇인가요? 예를 들어, 다음을 시도해 봤을 때: docker run -i -t foo /bin/bash 또는 docker attach foo (이미 실행 중인 컨테이너인 경우) 위 두 가지 방법은 모두 컨테이너 내의 터미널에 접속하게 해줍니다. 그렇다면 컨테이너의 터미널에서 종료하지 않고 나올 방법은 무엇인가요? exit와 CTR+C는 모두 컨테이너를 중지시킵니다.답변 1타입 Ctrl+p 후에 Ctrl+q를 누르세요. 이는 대화형 모드를 데몬 모드로 전환하는 데 도움이 됩니다. 자세한 내용은 https://docs.docker.com/engine/reference/commandline/cli/#default-key-seq..

나는 한 대의 노드에서 잘 작동하는 작은 Scala 프로그램을 가지고 있습니다. 그러나 이것을 여러 노드에서 실행되도록 확장하려고 합니다. 이것은 내 첫 번째 시도입니다. Spark에서 RDD가 작동하는 방법을 이해하려고 하기 때문에, 이 질문은 이론을 중심으로 하며 100% 정확하지 않을 수 있습니다. 예를 들어, 다음과 같이 RDD를 생성한다고 가정해 봅시다: val rdd = sc.textFile(file) 이제 이렇게 한 번 해 놓으면, 모든 노드가 파일 경로에 액세스 할 수 있다고 가정할 때, file에서의 파일은 이제 노드들 사이로 분할되어 있는 것을 의미합니까? 두 번째로, RDD의 객체 수를 계산하려고 합니다 (간단합니다). 그러나 RDD의 객체에 적용해야할 계산에 사용해야하는 해당 수를 ..