반응형
Notice
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 컴퓨터비전
- 파이썬
- 자료구조
- 2
- 컴퓨터과학
- 네트워크보안
- 자바스크립트
- I'm Sorry
- 프로그래밍
- 데이터과학
- 보안
- 알고리즘
- 빅데이터
- 프로그래밍언어
- 소프트웨어
- 네트워크
- 컴퓨터공학
- 데이터분석
- 클라우드컴퓨팅
- 코딩
- 머신러닝
- 웹개발
- 딥러닝
- 버전관리
- 소프트웨어공학
- 데이터베이스
- Yes
- 사이버보안
- 인공지능
- 데이터구조
Archives
- Today
- Total
목록RDD용량관리 (1)
스택큐힙리스트
(왜) 우리는 RDD에 대해 캐시(cache) 또는 지속성(persist)을 호출해야 할까요?
강건한 분산 데이터 세트 (RDD)가 텍스트 파일이나 컬렉션 (또는 다른 RDD)으로부터 생성될 때 RDD 데이터를 메모리에 저장하기 위해 명시적으로 cache 또는 persist를 호출해야 할까요? 아니면 RDD 데이터는 기본적으로 분산 방식으로 메모리에 저장되나요? val textFile = sc.textFile(/user/emp.txt) 내가 이해한대로 위 단계 이후에 textFile은 RDD이며 모든/일부 노드의 메모리에서 사용 가능합니다. 그렇다면 왜 cache 또는 persist를 textFile RDD에 호출해야 할까요?답변 1RDD의 대부분의 작업은 지연됩니다. RDD를 작업들의 설명으로 생각해보세요. RDD는 데이터가 아닙니다. 그래서 이 라인: val textFile = sc.textF..
카테고리 없음
2023. 11. 30. 00:26