반응형
Notice
Link
목록스파크프로그래밍 (1)
스택큐힙리스트
Spark RDD's - 어떻게 작동하나요?
나는 한 대의 노드에서 잘 작동하는 작은 Scala 프로그램을 가지고 있습니다. 그러나 이것을 여러 노드에서 실행되도록 확장하려고 합니다. 이것은 내 첫 번째 시도입니다. Spark에서 RDD가 작동하는 방법을 이해하려고 하기 때문에, 이 질문은 이론을 중심으로 하며 100% 정확하지 않을 수 있습니다. 예를 들어, 다음과 같이 RDD를 생성한다고 가정해 봅시다: val rdd = sc.textFile(file) 이제 이렇게 한 번 해 놓으면, 모든 노드가 파일 경로에 액세스 할 수 있다고 가정할 때, file에서의 파일은 이제 노드들 사이로 분할되어 있는 것을 의미합니까? 두 번째로, RDD의 객체 수를 계산하려고 합니다 (간단합니다). 그러나 RDD의 객체에 적용해야할 계산에 사용해야하는 해당 수를 ..
카테고리 없음
2023. 11. 2. 18:17