스택큐힙리스트

이것은 일반적으로 면접에서 나타나는 질문입니다. Pandas를 사용하여 csv 파일을 읽는 방법을 알고 있습니다. 하지만 외부 라이브러리를 사용하지 않고 파일을 읽는 방법을 찾는 데 어려움을 겪고 있습니다. Python에는 csv 파일을 읽는 데 도움이 되는 모듈이 있나요?답변 1다음 코드로 저장된 file.csv 파일을 실행시켰습니다. 결과:['product_id', 'product_name', 'aisle_id', 'department_id'] ['9327', '다진 마늘', '104', '13'] ['17461', '유기농 뼈 없는 살코기 닭가슴살', '35', '12'] ['17668', '설탕 없는 초콜릿 아몬드 우유', '91', '16'] ['28985', '미시간 유기농 케일', '83',..

JS에서 유효한 날짜 객체와 유효하지 않은 날짜 객체의 차이점을 알려드리고 싶습니다. 하지만 해결 방법을 찾지 못했습니다: var d = new Date(foo); console.log(d.toString()); // '잘못된 날짜'를 표시합니다 console.log(typeof d); // '객체'를 표시합니다 console.log(d instanceof Date); // '참'을 표시합니다 isValidDate 함수를 작성하기 위한 아이디어가 있으신가요? Ash는 날짜 문자열을 구문 분석하기 위해 Date.parse를 추천했습니다. 이는 날짜 문자열이 유효한지 확인하는 권위있는 방법을 제공합니다. 가능하다면, 내 API가 Date 인스턴스를 수락하고 유효한지 확인/단언할 수 있도록 하는 것을 원합니다..

Spark는 리듀스 작업의 수를 계산하기 위해 어떤 공식을 사용하나요? 저는 몇 개의 Spark-sql 쿼리를 실행하고 있는데, 리듀스 작업의 수는 항상 200입니다. 이러한 쿼리의 맵 작업 수는 154입니다. 저는 Spark 1.4.1을 사용하고 있습니다. 이것은 기본적으로 200으로 설정된 spark.shuffle.sort.bypassMergeThreshold와 관련이 있나요?답변 1당신이 원하는 것은 spark.sql.shuffle.partitions 입니다. Spark SQL 성능 튜닝 가이드에 따르면: | 속성 이름 | 기본값 | 의미 | +-----------------------------+-------+----------------------------------------------+ |..

학습 스파크에 따르면 데이터를 다시 파티션하는 것은 비용이 많이 드는 작업임을 염두에 두어야합니다. Spark는 데이터 이동을 피할 수있는 repartition()라는 최적화 된 버전인 coalesce()도 갖고 있지만, RDD 파티션 수를 감소시킬 때만 사용할 수 있습니다. 하나의 차이점은 repartition()을 사용하여 파티션 수를 늘리거나 줄일 수 있지만, coalesce()는 파티션 수를 감소시킬 수만 있습니다. 파티션이 여러 대의 기계에 분산되어 있고 coalesce()가 실행되는 경우 데이터 이동을 어떻게 피할 수 있습니까?답변 1전체 셔플을 피합니다. 숫자가 감소하고 있다는 것을 알고 있다면 Executor는 데이터를 최소한의 파티션에 유지하고, 남은 노드에서 데이터를 이동해서 유지합니다..