목록전체 글 (1964)

스택큐힙리스트

PySpark에서 데이터프레임의 열 이름을 변경하는 방법은 무엇인가요?

나는 판다 스의 배경에서 왔으며 CSV 파일에서 데이터를 데이터프레임으로 읽어서 간단한 명령인 다음과 같이 열 이름을 유용한 이름으로 변경하는 것에 익숙합니다: df.columns = new_column_name_list 그러나 sqlContext를 사용하여 생성된 PySpark 데이터프레임에서는 동일한 방법이 작동하지 않습니다. 이를 쉽게 수행하기 위한 유일한 해결책은 다음과 같습니다: df = sqlContext.read.format(com.databricks.spark.csv).options(header='false', inferschema='true', delimiter='\t').load(data.txt) oldSchema = df.schema for i,k in enumerate(oldSche..
카테고리 없음 2023. 12. 2. 23:43
Web API 인증의 기본(Basic)과 베어러(Bearer)

나는 내 웹 API 응용 프로그램에서 JWT 기반 인증을 만들었다. 나는 Basic 토큰과 Bearer 토큰 사이의 차이를 파악할 수 없다. Basic 토큰 Bearer 토큰 도와주실 분 있을까요?답변 1기본 및 다이제스트 인증 방식은 사용자 이름과 비밀번호를 사용한 인증을 위한 것입니다. (RFC7616 및 RFC7617 참조) Bearer 인증 방식은 토큰을 사용한 인증을 위한 것으로, RFC6750에 설명되어 있습니다. 이 방식은 OAuth2 사양에서 나왔지만, 클라이언트와 서버 간에 토큰을 교환하는 모든 다른 상황에서도 사용할 수 있습니다. JWT 인증은 토큰이므로 Bearer 인증 방식이 가장 좋은 선택입니다. 그러나 사용자의 요구 사항에 맞을 수 있는 사용자 정의 방식을 사용하는 것을 방지하는..
카테고리 없음 2023. 12. 2. 23:43
스파크 데이터프레임은 중복된 이름을 가진 열을 식별합니다.

스파크 데이터프레임에서 알고 있는대로, 다음 데이터프레임 스냅샷에 표시된 것처럼 여러 열은 동일한 이름을 가질 수 있습니다: [ Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0})), Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=125231, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0047, 3: 0.0, 4: 0.0043})), Row(a=107831, f=SparseVect..
카테고리 없음 2023. 12. 2. 23:43
스파크 데이터프레임에서 전체 열 내용을 어떻게 보여줄 수 있을까요?

저는 spark-csv를 사용하여 DataFrame에 데이터를 로드하고 있습니다. 간단한 쿼리를 수행하고 내용을 표시하고 싶습니다: val df = sqlContext.read.format(com.databricks.spark.csv).option(header, true).load(my.csv) df.registerTempTable(tasks) results = sqlContext.sql(select col from tasks); results.show() col이 잘려 보입니다: scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |201..
카테고리 없음 2023. 12. 2. 23:43
이전 Prev 1 ··· 217 218 219 220 221 222 223 ··· 491 Next 다음