스택큐힙리스트

스파크 서밋 2014에서 Aaron은 스파크 내부의 심화 이해에 대한 발표를 진행했습니다. 그의 슬라이드인 17 페이지에서 한 스테이지가 4개의 태스크로 분할되었다는 것을 보여주고 있습니다: 여기서 스테이지가 태스크로 어떻게 분할되는지에 대해 세 가지 사항을 알고 싶습니다. 위의 예시에서는 파일 번호를 기준으로 태스크 번호가 생성된 것으로 보입니다. 맞나요? 1번에서 맞다면, 디렉토리에 있는 파일이 3개였다면, 그대로 3개의 태스크가 생성되는 것일까요? 2번에서 맞다면, 하나의 매우 큰 파일이 있는 경우 어떻게 될까요? 이러한 스테이지는 1개의 태스크로 분할될까요? 그리고 스트리밍 데이터 소스에서 데이터가 들어오는 경우는 어떻게 될까요? 정말로 감사합니다. 스테이지가 어떻게 태스크로 분할되는지에 대해 혼..