이 문서는 내용이 없습니다.

두 개의 id: bigint가 있고, 하나를 삭제하고 싶습니다. 어떻게 할 수 있을까요?

답변 1

Spark 문서를 읽다 보니 더 간단한 해결책을 찾았습니다.

Spark의 1.4 버전부터는 데이터프레임에서 사용할 수 있는 drop(col) 함수가 있습니다.

두 가지 방법으로 사용할 수 있습니다

1. df.drop('age')


2. df.drop(df.age)

Pyspark 문서 - Drop

답변 2

어떻게 PySpark 데이터프레임에서 열을 삭제할까요? 이 주제에 관한 SEO 친화적인 한국어 에세이를 작성해 드리겠습니다.
PySpark은 Apache Spark를 사용하는 Python 라이브러리로, 대규모 데이터 처리를 위해 설계되었습니다. 데이터프레임은 PySpark에서 가장 주요한 데이터 구조 중 하나로, 열과 행으로 구성된 테이블과 유사한 형태입니다. 때때로 우리는 데이터프레임에서 특정 열을 삭제해야 할 때가 있습니다. 이번에는 PySpark 데이터프레임에서 열을 삭제하는 방법에 대해 알아보도록 하겠습니다.
PySpark에서 열을 삭제하는 가장 간단한 방법은 `drop` 함수를 사용하는 것입니다. `drop` 함수를 사용하여 열을 삭제하려면 다음과 같은 단계를 따라야 합니다.
1. `drop` 함수를 사용하기 위해 `pyspark.sql.functions`를 임포트합니다.
```python
from pyspark.sql import functions as F
```
2. 데이터프레임에서 열을 삭제하려면 `drop` 함수를 호출하고 삭제할 열의 이름을 전달합니다.
```python
df = df.drop(column_name)
```
위의 코드에서 column_name은 삭제하려는 열의 이름을 나타냅니다. 이렇게 하면 해당 열이 데이터프레임에서 삭제됩니다.
때로는 여러 개의 열을 함께 삭제해야 할 수도 있습니다. 이 경우, `drop` 함수에 삭제하려는 열들의 이름을 전달하는 것만으로 여러 열을 삭제할 수 있습니다.
```python
df = df.drop(column_name1, column_name2, ...)
```
위의 코드에서 column_name1, column_name2는 삭제하려는 열의 이름들을 나타냅니다. 이렇게 하면 해당하는 모든 열이 데이터프레임에서 동시에 삭제됩니다.
열을 삭제하는 다른 방법은 `select` 함수를 사용하여 필요한 열만 선택하는 것입니다. 예를 들어, column_name 열을 제외한 모든 열을 선택하려면 다음과 같이 할 수 있습니다.
```python
df = df.select([col for col in df.columns if col != column_name])
```
위의 코드에서 column_name은 삭제하려는 열의 이름입니다. `select` 함수는 데이터프레임의 열 목록을 반복하면서 column_name을 제외한 모든 열을 선택합니다. 그런 다음 선택된 열을 가지고 새로운 데이터프레임을 생성하여 열이 제거된 데이터프레임을 얻을 수 있습니다.
이렇게하여 PySpark 데이터프레임에서 열을 삭제하는 방법을 알아보았습니다. `drop` 함수를 사용하여 열을 삭제하거나 `select` 함수를 사용하여 필요한 열만 선택하는 방법으로 열을 제거할 수 있습니다. 이러한 방법을 사용하여 데이터프레임을 효과적으로 조작하고 필요한 열을 보존하거나 삭제할 수 있습니다.