스택큐힙리스트

스파크 커맨드: /Library/Java/JavaVirtualMachines/jdk1.8.0_05.jdk/Contents/Home/bin/java -cp :/root/spark-1.0.1-bin-hadoop2/conf:/root/spark-1.0.1-bin-hadoop2/conf:/root/spark-1.0.1-bin-hadoop2/lib/spark-assembly-1.0.1-hadoop2.2.0.jar:/root/spark-1.0.1-bin-hadoop2/lib/datanucleus-api-jdo-3.2.1.jar:/root/spark-1.0.1-bin-hadoop2/lib/datanucleus-core-3.2.2.jar:/root/spark-1.0.1-bin-hadoop2/lib/datanucleus..

클로저 밖에서 함수를 호출할 때 이상한 동작을 얻습니다: 함수가 객체 안에 있을 때는 모든 것이 작동합니다 함수가 클래스 안에 있을 때는 다음과 같이 됩니다: 작업이 직렬화될 수 없음: java.io.NotSerializableException: testing 문제는 코드를 개체(object)가 아닌 클래스에 넣어야 한다는 것입니다. 이런 일이 일어나는 이유가 무엇인지 아시나요? 스칼라 객체는 직렬화되나요 (기본적으로?)? 다음은 작동하는 코드 예제입니다: object working extends App { val list = List(1,2,3) val rddList = Spark.ctx.parallelize(list) // 클로저 밖에서 함수 호출 val after = rddList.map(someF..

어떤 분은 map과 flatMap의 차이점과 각각의 좋은 사용 사례에 대해 설명해 주실 수 있나요? 결과를 평탄화하다라는 것은 무엇을 의미하며, 이것은 어떻게 유용한가요?답변 1한 줄마다 여러 단어가 있고 여러 줄이 있지만, 하나의 출력 배열로 끝난다는 것을 알 수 있습니다. flatMapping을 통해 라인의 컬렉션에서 단어의 컬렉션으로 변환하는 것을 보여주기 위해 다음과 같습니다: [aa bb cc, , dd] => [[aa,bb,cc],[],[dd]] => [aa,bb,cc,dd] 따라서 입력 및 출력 RDD는 일반적으로 flatMap에 대해 서로 다른 크기를 가집니다. 만약 우리의 split 함수와 함께 map을 사용하려고 했다면 중첩된 구조로 끝났을 것입니다 (타입이 RDD[Array[Strin..