목록클라우드컴퓨팅 (134)
스택큐힙리스트
두 개의 열(mvv와 count)을 가진 데이터프레임을 처리하고 있습니다. +---+-----+ |mvv|count| +---+-----+ | 1 | 5 | | 2 | 9 | | 3 | 3 | | 4 | 1 | mvv 값과 count 값을 포함하는 두 개의 리스트를 얻고 싶습니다. 아래와 같이 생각하고 있습니다. mvv = [1,2,3,4] count = [5,9,3,1] 그래서, 다음 코드를 시도해 보았습니다: 첫 번째 줄은 행의 파이썬 리스트를 반환해야 합니다. 첫 번째 값을 확인하고 싶었습니다: mvv_list = mvv_count_df.select('mvv').collect() firstvalue = mvv_list[0].getInt(0) 하지만 두 번째 줄에서 에러 메시지가 나오네요: Attri..
내가 다운로드한 이미지를 템플릿으로 사용하기 위해 생성된 Dockerfile을 볼 수 있는 방법이 있을까요?답변 1사용하세요 docker history --no-trunc IMAGE_NAME_OR_ID 이 명령은 이미지 빌딩 프로세스에서 실행된 모든 명령을 역순으로 보여줍니다. 이것은 정확히 Dockerfile은 아니지만 모든 중요한 내용을 찾을 수 있습니다.답변 2Docker 이미지의 Dockerfile을 어디에서 확인할 수 있을까요? 이 주제에 대해 SEO에 주의하여 한국어 에세이를 작성해 보겠습니다. Docker는 애플리케이션의 개발, 배포 및 실행을 위한 오픈 소스 플랫폼입니다. Docker는 컨테이너라는 가벼운 실행 환경을 사용하여 애플리케이션을 격리시킴으로써, 서버 환경에 대한 의존성 및 호환..
로컬 머신 터미널에서 클러스터로 Spark 앱을 제출하려고 하고 있습니다. --master yarn-cluster를 사용하고 있습니다. 앱을 제출하는 머신이 아닌 클러스터에서 드라이버 프로그램을 실행해야합니다. 로컬 머신에 있는 애플리케이션 jar 파일의 경로를 제공할 때, spark-submit은 자동으로 클러스터에 업로드하나요? 다음과 같이 사용하고 있습니다. bin/spark-submit --class com.my.application.XApp --master yarn-cluster --executor-memory 100m --num-executors 50 /Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 1000 에러 메..
저는 spark-csv를 사용하여 DataFrame에 데이터를 로드하고 있습니다. 간단한 쿼리를 수행하고 내용을 표시하고 싶습니다: val df = sqlContext.read.format(com.databricks.spark.csv).option(header, true).load(my.csv) df.registerTempTable(tasks) results = sqlContext.sql(select col from tasks); results.show() col이 잘려 보입니다: scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |201..