반응형
Notice
Link
목록In Spark (1)
스택큐힙리스트
Spark에서 작업이란 무엇인가요? Spark 워커는 jar 파일을 어떻게 실행하나요?
JavaSparkContext spark = new JavaSparkContext( new SparkConf().setJars(...).setSparkHome....); JavaRDD file = spark.textFile(hdfs://...); // 단계1 JavaRDD words = file.flatMap(new FlatMapFunction() { public Iterable call(String s) { return Arrays.asList(s.split( )); } }); // 단계2 JavaPairRDD pairs = words.map(new PairFunction() { public Tuple2 call(String s) { return new Tuple2(s, 1); } }); // 단계3 ..
카테고리 없음
2023. 11. 29. 00:02