반응형
Notice
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 보안
- 코딩
- 자바스크립트
- 웹개발
- 버전관리
- 머신러닝
- 사이버보안
- 빅데이터
- 컴퓨터비전
- 2
- 프로그래밍언어
- 데이터구조
- 컴퓨터과학
- 인공지능
- 데이터베이스
- 딥러닝
- I'm Sorry
- 네트워크
- 컴퓨터공학
- 네트워크보안
- 데이터분석
- 자료구조
- 파이썬
- 데이터과학
- Yes
- 프로그래밍
- 알고리즘
- 소프트웨어공학
- 소프트웨어
- 클라우드컴퓨팅
Archives
- Today
- Total
목록스파크프로그래밍 (1)
스택큐힙리스트
Spark RDD's - 어떻게 작동하나요?
나는 한 대의 노드에서 잘 작동하는 작은 Scala 프로그램을 가지고 있습니다. 그러나 이것을 여러 노드에서 실행되도록 확장하려고 합니다. 이것은 내 첫 번째 시도입니다. Spark에서 RDD가 작동하는 방법을 이해하려고 하기 때문에, 이 질문은 이론을 중심으로 하며 100% 정확하지 않을 수 있습니다. 예를 들어, 다음과 같이 RDD를 생성한다고 가정해 봅시다: val rdd = sc.textFile(file) 이제 이렇게 한 번 해 놓으면, 모든 노드가 파일 경로에 액세스 할 수 있다고 가정할 때, file에서의 파일은 이제 노드들 사이로 분할되어 있는 것을 의미합니까? 두 번째로, RDD의 객체 수를 계산하려고 합니다 (간단합니다). 그러나 RDD의 객체에 적용해야할 계산에 사용해야하는 해당 수를 ..
카테고리 없음
2023. 11. 2. 18:17