스택큐힙리스트

두 개의 id: bigint가 있고, 하나를 삭제하고 싶습니다. 어떻게 할 수 있을까요?답변 1Spark 문서를 읽다 보니 더 간단한 해결책을 찾았습니다. Spark의 1.4 버전부터는 데이터프레임에서 사용할 수 있는 drop(col) 함수가 있습니다. 두 가지 방법으로 사용할 수 있습니다 df.drop('age') df.drop(df.age) Pyspark 문서 - Drop답변 2어떻게 PySpark 데이터프레임에서 열을 삭제할까요? 이 주제에 관한 SEO 친화적인 한국어 에세이를 작성해 드리겠습니다. PySpark은 Apache Spark를 사용하는 Python 라이브러리로, 대규모 데이터 처리를 위해 설계되었습니다. 데이터프레임은 PySpark에서 가장 주요한 데이터 구조 중 하나로, 열과 행으로 ..

제가 실행 중인 Spark 애플리케이션이 있어서 다른 애플리케이션에게 할당되지 않고 모든 코어를 점유하고 있습니다. 빠른 조사를 해보니 YARN kill 또는 /bin/spark-class를 사용하여 해당 명령을 종료하는 것을 제안했습니다. 그러나 저는 CDH 버전을 사용하고 있으며 /bin/spark-class가 존재하지 않습니다. 또한 YARN 애플리케이션을 종료하는 것도 작동하지 않습니다. 누가 이 문제를 함께 해결해 줄 수 있을까요?답변 1 스파크 스케줄러에서 애플리케이션 ID를 복사하여 붙여넣기하십시오. 예를 들어, application_1428487296152_25597 작업을 시작한 서버에 연결하십시오. yarn application -kill application_1428487296152_..

어떻게 RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])를 Dataframe org.apache.spark.sql.DataFrame으로 변환할 수 있을까요? 제가 데이터프레임을 .rdd를 사용하여 RDD로 변환했는데, 처리를 한 후에 데이터프레임으로 다시 변환하고 싶습니다. 어떻게 할 수 있을까요?답변 1val dfWithoutSchema = spark.createDataFrame(rdd) dfWithoutSchema.show() +------+--------------------+ | _1| _2| +------+--------------------+ | first|[2.0, 1.0, 2.1, 5.4]| | test|[1.5, 0.5, 0.9, 3.7..

어떤 작업을 수행하고 있다고 가정해봅시다: val df = sqlContext.load(com.databricks.spark.csv, Map(path -> cars.csv, header -> true)) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable = true) |-- blank: string (nullable = true) df.show() year make model comment blank 2012 Tesla S No comment 1997 Ford E350 Go ..