목록전체 글 (1964)

스택큐힙리스트

R로 CSV 시간 데이터의 히스토그램을 생성하는 방법

저는 24시간 동안의 로그를 나타내는 CSV 데이터를 가지고 있습니다: svr01,07:17:14,'[email protected]','8.3.1.35' svr03,07:17:21,'[email protected]','82.15.1.35' svr02,07:17:30,'[email protected]','2.15.1.35' svr04,07:17:40,'[email protected]','2.1.1.35' 데이터를 다음과 같이 읽습니다: tbl
카테고리 없음 2023. 11. 1. 23:13
COLLECT_SET() in Hive, 중복 유지?

하이브에서 수집된 집합(set)에서 중복을 유지하는 방법이 있을까요? 또는 하이브가 제공하는 종합 컬렉션과 비슷한 기능을 다른 방법으로 시뮬레이션할 수 있을까요? 같은 키를 가진 열의 모든 항목을 배열로 집계하고자 합니다. 예: hash_id | num_of_cats ===================== ad3jkfk 4 ad3jkfk 4 ad3jkfk 2 fkjh43f 1 fkjh43f 8 fkjh43f 8 rjkhd93 7 rjkhd93 4 rjkhd93 7 다음과 같은 결과를 반환해야 합니다: hash_agg | cats_aggregate =========================== ad3jkfk Array(4,4,2) fkjh43f Array(1,8,8) rjkhd93 Array(7,4,7..
카테고리 없음 2023. 11. 1. 23:13
R로 읽을 수 있도록 거대한 (3.5 GB) CSV 파일을 줄이는 방법

## 커서 위치를 따로 유지하기 위해 연결을 열기 file.in
카테고리 없음 2023. 11. 1. 23:13
매우 큰 테이블을 데이터프레임으로 빠르게 읽기

저는 매우 큰 테이블 (3000만 개의 행)을 R의 데이터프레임으로 로드하고 싶습니다. read.table()에는 편리한 기능이 많지만, 구현에는 작업을 느리게 하는 많은 논리가 있는 것 같습니다. 제 경우에는 미리 열의 유형을 알고 있다고 가정하고, 테이블에는 열 제목이나 행 이름이 없으며, 걱정해야 할 병리적인 문자가 없습니다. scan()을 사용하여 테이블을 목록으로 읽는 것이 매우 빠를 수 있다는 것을 알고 있습니다. 예를 들면 다음과 같습니다: datalist
카테고리 없음 2023. 11. 1. 23:13
이전 Prev 1 ··· 305 306 307 308 309 310 311 ··· 491 Next 다음