목록2023/12/03 (15)

스택큐힙리스트

HTML의 p 태그를 한국어로 번역합니다.케이스 클래스에서 Spark StructType / Schema를 생성합니다.

만약에 DataFrame 없이 case class로부터 StructType (즉, DataFrame.schema)를 생성하고 싶다면 어떻게 해야 하나요? 쉽게 다음을 할 수 있습니다: case class TestCase(id: Long) val schema = Seq[TestCase]().toDF.schema 하지만 스키마만 필요한데 실제로 DataFrame을 생성하는 것은 비효율적인 것 같습니다. SQLContext.createDataFrame와 같은 방식으로 수행할 수 있습니다: import org.apache.spark.sql.catalyst.ScalaReflection val schema = ScalaReflection.schemaFor[TestCase].dataType.asInstanceOf[S..
카테고리 없음 2023. 12. 3. 00:03
Docker - 도커 클라우드에 업데이트된 이미지를 재구축하고 푸시하는 올바른 방법은 무엇인가요?

현재 수행 중인 작업: Dockerfile: FROM python:3.5.1 ENV PYTHONUNBUFFERED 1 RUN mkdir /www WORKDIR /www ADD deps.txt /www/ RUN pip3 install -r deps.txt ADD . /www/ RUN chmod 0755 /www/docker-init.sh 빌드 명령어: docker build -t my-djnago-app:latest . 태깅: docker tag my-djnago-app:latest lolorama/my-djnago-app-img:latest 푸시: docker push lolorama/my-djnago-app-img:latest 위 단계를 따르고 나서도 저장소 이미지가 업데이트되지 않았습니다. Layer..
카테고리 없음 2023. 12. 3. 00:03
어떻게 사용자 정의 객체를 데이터셋에 저장할 수 있을까요?

다음의 Spark Datasets 소개에 따르면: Spark 2.0을 기대하며, Datasets에 대한 일부 흥미로운 개선 사항을 계획하고 있습니다. 특히: ... 사용자 정의 인코더 - 현재 다양한 유형의 자동 생성 인코더를 사용하지만, 사용자 정의 객체에 대한 API를 공개하고자 합니다. 또한 Dataset에 사용자 정의 유형을 저장하려고 시도하면 다음과 같은 오류가 발생합니다: Dataset에 저장된 유형에 대한 인코더를 찾을 수 없습니다. 기본 유형 (Int, String 등) 및 제품 유형 (case 클래스)은 sqlContext.implicits._를 가져와서 지원됩니다. 다른 유형에 대한 직렬화 지원은 향후 릴리스에서 추가될 예정입니다. 또는: Java.lang.UnsupportedOpera..
카테고리 없음 2023. 12. 3. 00:03
이전 Prev 1 2 3 4 Next 다음