스택큐힙리스트

Spark는 리듀스 작업의 수를 계산하기 위해 어떤 공식을 사용하나요? 저는 몇 개의 Spark-sql 쿼리를 실행하고 있는데, 리듀스 작업의 수는 항상 200입니다. 이러한 쿼리의 맵 작업 수는 154입니다. 저는 Spark 1.4.1을 사용하고 있습니다. 이것은 기본적으로 200으로 설정된 spark.shuffle.sort.bypassMergeThreshold와 관련이 있나요?답변 1당신이 원하는 것은 spark.sql.shuffle.partitions 입니다. Spark SQL 성능 튜닝 가이드에 따르면: | 속성 이름 | 기본값 | 의미 | +-----------------------------+-------+----------------------------------------------+ |..