Spark DataFrame에 상수 열을 추가하는 방법은 다음과 같습니다.

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-50-a6d0257ca2be> in <module>()
      1 dt = (messages
      2     .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias(dt)))
----> 3 dt.withColumn('new_column', 10).head(5)
/Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in withColumn(self, colName, col)
   1166         [Row(age=2, name=u'Alice', age2=4), Row(age=5, name=u'Bob', age2=7)]
   1167         
-> 1168         return self.select('*', col.alias(colName))
   1169 
   1170     @ignore_unicode_prefix
AttributeError: 'int' 객체에는 'alias' 속성이 없습니다.

다른 컬럼들을 더하고 빼서 (그래서 합이 0이 되도록) 원하는 숫자를 더하는 방식으로 함수를 내가 원하는 대로 동작하게 속일 수 있다는 것 같습니다 (이 경우 10을 더합니다):

dt.withColumn('new_column', dt.messagetype - dt.messagetype + 10).head(5)

[Row(fromuserid=425, messagetype=1, dt=4809600.0, new_column=10),
 Row(fromuserid=47019141, messagetype=1, dt=4809600.0, new_column=10),
 Row(fromuserid=49746356, messagetype=1, dt=4809600.0, new_column=10),
 Row(fromuserid=93506471, messagetype=1, dt=4809600.0, new_column=10),
 Row(fromuserid=80488242, messagetype=1, dt=4809600.0, new_column=10)]

이 방법은 매우 간편하게 동작하지만, 문제 해결에 있어서 상당히 거칠게 보일 수 있습니다. 더 정식적인 방법이 있는 것 같습니다.

답변 1

복잡한 열이 필요한 경우에는 array와 같은 블록을 사용하여 이를 구축할 수 있습니다:

from pyspark.sql.functions import array, create_map, struct
df.withColumn(some_array, array(lit(1), lit(2), lit(3)))
df.withColumn(some_struct, struct(lit(foo), lit(1), lit(.3)))
df.withColumn(some_map, create_map(lit(key1), lit(1), lit(key2), lit(2)))

똑같은 메서드들을 스칼라에서도 사용할 수 있습니다.

import org.apache.spark.sql.functions.{array, lit, map, struct}
df.withColumn(new_column, lit(10))
df.withColumn(map, map(lit(key1), lit(1), lit(key2), lit(2)))

structs에 이름을 제공하려면 각 필드에 alias를 사용하거나

df.withColumn(
    some_struct,
    struct(lit(foo).alias(x), lit(1).alias(y), lit(0.3).alias(z))
)

또는 전체 객체에 cast를 사용하세요.

df.withColumn(
    some_struct, 
    struct(lit(foo), lit(1), lit(0.3)).cast(struct<x: string, y: integer, z: double>)
)

UDF를 사용하는 것도 가능하지만 더 느릴 수 있습니다.

참고:

같은 구조를 사용하여 UDF 또는 SQL 함수에 상수 인수를 전달할 수도 있습니다.

답변 2

데이터프레임에 상수 열을 추가하는 방법은 이해하기 쉽고 유용합니다. Apache Spark는 분산 데이터 처리를 위한 강력한 도구로 실시간 분석, 머신러닝, 그래프 처리 등 다양한 작업에 사용됩니다. 이 글에서는 Spark의 DataFrame을 사용하여 상수 열을 추가하는 방법에 대해 자세히 알아보겠습니다.
DataFrame은 Spark의 주요 자료 구조 중 하나로, 열과 행으로 구성된 분산 데이터 세트입니다. DataFrame을 사용하면 SQL 작업과 유사한 방식으로 데이터를 처리할 수 있으며, 다양한 유형의 데이터 소스를 다룰 수 있습니다.
우선, SparkSession을 초기화해야 합니다. SparkSession은 Spark의 모든 기능을 사용하기 위해 필요한 엔트리 포인트입니다. 여기서는 SparkSession을 사용하여 DataFrame을 생성합니다.
```python
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName(Adding Constant Column).getOrCreate()
```
이제 DataFrame을 생성하고 기존 열과 함께 상수 열을 추가해 보겠습니다. 상수 열을 추가하기 위해 lit() 함수를 사용합니다. lit() 함수는 주어진 값을 나타내는 DataFrame의 열을 반환합니다.
```python
from pyspark.sql.functions import lit
# 예시 데이터
data = [(John, 25), (Jane, 30), (Alice, 35)]
# DataFrame 생성
df = spark.createDataFrame(data, [Name, Age])
# 상수 열 추가
df_with_constant = df.withColumn(Constant, lit(Hello Spark))
```
이제 df_with_constant DataFrame에는 Constant라는 이름의 새로운 열이 추가되었습니다. 모든 행에 Hello Spark라는 값을 가지고 있습니다.
잠시 후에 DataFrame을 출력하여 결과를 확인해 보겠습니다.
```python
df_with_constant.show()
```
출력 결과는 다음과 같습니다.
```
+-----+---+-------------+
| Name|Age| Constant |
+-----+---+-------------+
| John| 25| Hello Spark |
| Jane| 30| Hello Spark |
|Alice| 35| Hello Spark |
+-----+---+-------------+
```
DataFrame에 상수 열을 성공적으로 추가했습니다. 이제 추가된 열을 활용하여 필요한 작업을 수행할 수 있습니다.
상수 열을 추가하는 방법에 대해 자세히 설명했으며, Spark를 사용하여 데이터프레임을 조작하는 기본 개념을 익혔습니다. Spark는 데이터 처리 작업을 처리하기 위해 많은 다양한 기능을 제공하므로 데이터 과학 및 빅데이터 프로젝트에 유용한 도구입니다.
상수 열을 사용하여 다른 유용한 작업을 수행하고 Spark의 다른 기능과 조합하는 것도 가능합니다. Spark에 대해 더 많이 배우고 싶다면 공식 문서와 튜토리얼을 참고하는 것이 좋습니다. Spark를 통해 데이터를 조작하고 분석하는 데 탁월한 결과를 얻기를 바랍니다.