스택큐힙리스트

로컬 머신 터미널에서 클러스터로 Spark 앱을 제출하려고 하고 있습니다. --master yarn-cluster를 사용하고 있습니다. 앱을 제출하는 머신이 아닌 클러스터에서 드라이버 프로그램을 실행해야합니다. 로컬 머신에 있는 애플리케이션 jar 파일의 경로를 제공할 때, spark-submit은 자동으로 클러스터에 업로드하나요? 다음과 같이 사용하고 있습니다. bin/spark-submit --class com.my.application.XApp --master yarn-cluster --executor-memory 100m --num-executors 50 /Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 1000 에러 메..

닫힘. 이 질문은 의견 기반으로 되어있습니다. 현재로선 답변을 받을 수 없습니다. 이 질문을 개선하고 싶으신가요? 사실과 인용을 통해 질문을 업데이트하여 답변할 수 있도록 만들어주세요. 이 게시글을 편집하십시오. 닫힘 7년 전. 이 질문을 개선하기 위키피디아에 언급된 대로 데이터 마이닝 프로세스의 전반적인 목표는 데이터 세트에서 정보를 추출하고 이를 이해 가능한 구조로 변환하여 추가적인 사용을 위해 활용하는 것입니다. 빅 데이터와 어떤 관련이 있나요? Hadoop이 병렬로 데이터 마이닝을 수행한다고 말해도 되나요?답변 1이것은 여러 문제에 적용되므로, Hadoop에서의 실제 데이터 마이닝은 잘 동작하지 않는 것 같습니다. 모두가 이것을 시도하고 많은 회사들이 이 제품을 판매하지만, 비-빅 버전보다는 그리..

나는 목록 x과 y 사이의 difference를 가져 가고 싶어. >>> x = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]>>> y = [1, 3, 5, 7, 9] >>> x - y# should return [0, 2, 4, 6, 8]답변 1x로부터 원래 order를 유지하면서 차이를 계산하는 리스트 내장을 사용하세요. [item for item in x if item not in y]리스트 속성(예: 순서)이 필요하지 않은 경우 set difference 를 사용하십시오. other answers 가 제안한 대로입니다. list(set(x) - set(y))&$#@#^!%^^$& 클래스에서 상속받은 클래스에서 __sub__을 무시하고 x - y 중위구문을 허용하도록 재정의합니다. clas..

OpenAI의 API fine tuning 엔드포인트는 상당히 새로운 것으로 보이며, 온라인에서 파인튜닝 데이터셋의 많은 예제를 찾을 수 없습니다.저는 보이스봇을 책임지고 있으며, 일반적인 열린 대화 질문에 대한 GPT-3의 성능을 테스트하고 있습니다. 저는 현재 사용하고 있는 고정 의도-응답 쌍에 대해 모델을 train하고 싶습니다. 이는 회사의 음성과 스타일 측면에서 더 나은 성능을 발휘할 것으로 보입니다.저는 우리 현재 대화 엔진에서 추출한 데이터의 긴 JSON 파일을 가지고 있습니다. 이 파일은 사용자 입력을 의도와 일치시키고 지정된 응답을 반환합니다. 이 데이터를 기반으로 GPT-3 모델을 훈련시키고 싶습니다.현재는 빠른 테스트를 위해 API에 대한 내 호출을 그냥 그들이하기와 같이 설정했습니다..