스택큐힙리스트

나는 https://github.com/databricks/spark-csv를 사용하고 있습니다. 단일 CSV를 작성하려고 시도하고 있지만, 폴더를 만들고 있습니다. 경로와 파일 이름과 같은 매개변수를 받아 해당 CSV 파일을 작성하는 스칼라 함수가 필요합니다.답변 1파일을 만드는 중입니다. 각 파티션은 개별적으로 저장되기 때문에 여러 파일이 들어있는 폴더가 생성됩니다. 하나의 출력 파일 (여전히 폴더 안에 있는)이 필요한 경우 repartition을 사용할 수 있습니다(상위 스트림 데이터가 큰 경우에 권장되며 셔플이 필요합니다): df .repartition(1) .write.format(com.databricks.spark.csv) .option(header, true) .save(mydata.csv..

학습 스파크에 따르면 데이터를 다시 파티션하는 것은 비용이 많이 드는 작업임을 염두에 두어야합니다. Spark는 데이터 이동을 피할 수있는 repartition()라는 최적화 된 버전인 coalesce()도 갖고 있지만, RDD 파티션 수를 감소시킬 때만 사용할 수 있습니다. 하나의 차이점은 repartition()을 사용하여 파티션 수를 늘리거나 줄일 수 있지만, coalesce()는 파티션 수를 감소시킬 수만 있습니다. 파티션이 여러 대의 기계에 분산되어 있고 coalesce()가 실행되는 경우 데이터 이동을 어떻게 피할 수 있습니까?답변 1전체 셔플을 피합니다. 숫자가 감소하고 있다는 것을 알고 있다면 Executor는 데이터를 최소한의 파티션에 유지하고, 남은 노드에서 데이터를 이동해서 유지합니다..

어떻게 Apache Spark DataFrame에서 두 개의 열을 연결(concatenate)할 수 있을까요? Spark SQL에서 사용할 수 있는 어떤 함수가 있을까요?답변 1원시 SQL을 사용하면 CONCAT을 사용할 수 있습니다: Python에서 df = sqlContext.createDataFrame([(foo, 1), (bar, 2)], (k, v)) df.registerTempTable(df) sqlContext.sql(SELECT CONCAT(k, ' ', v) FROM df) Scala에서 import sqlContext.implicits._ val df = sc.parallelize(Seq((foo, 1), (bar, 2))).toDF(k, v) df.registerTempTable(df..

최근에는 JWT 기반 인증 작업을 시작했습니다. 사용자 로그인 후 사용자 토큰이 생성되며 다음과 같은 형식을 가집니다: eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIxMjM0NTY3ODkwIiwibmFtZSI6IkpvaG4gRG9lIiwiYWRtaW4iOnRydWV9.TJVA95OrM7E2cBab30RMHrHDcEfxjoYZgeFONFh7HgQ. 이는 세 부분으로 구성되어 있으며 각 부분은 점(.)으로 구분됩니다. 첫 번째 부분은 Base64로 인코딩된 헤더입니다. 디코딩하면 다음과 같은 결과가 나옵니다: { alg: HS256, // 사용된 알고리즘 typ: JWT } 두 번째 부분은 클레임(해당 정보)이며 Base64로 인코딩되었습니다. 디코딩하면 다음과 같은..