목록전체 글 (1964)

스택큐힙리스트

HDFS에서 데이터를 다른 HDFS로 복사하는 방법은 무엇인가요?

저는 두 개의 HDFS 설정이 있고, HDFS1에서 HDFS2로 테이블을 복사하려고 합니다. HDFS1에서 HDFS2로 데이터를 복사하는 방법은 무엇인가요? Sqoop 또는 다른 명령 줄을 통해 가능한가요?답변 1DistCp (분산 복사)는 클러스터 간 데이터 복사에 사용되는 도구입니다. 맵리듀스를 사용하여 데이터의 분산, 오류 처리 및 복구, 보고를 수행합니다. 이는 파일과 디렉토리 목록을 맵 작업의 입력으로 확장하여 소스 목록에서 지정된 파일의 파티션을 각각 복사합니다. 사용법: $ hadoop distcp 예제: $ hadoop distcp hdfs://nn1:8020/file1 hdfs://nn2:8020/file2 nn1의 file1이 nn2로 file2라는 파일명으로 복사됩니다. 지금을 기준으..
카테고리 없음 2023. 11. 3. 23:25
다이나모디비 쿼리 오류 - 쿼리 키 조건은 지원되지 않습니다.

$result = $dynamodbClient->createTable(array( 'TableName' => '피드', 'AttributeDefinitions' => array( array('AttributeName' => '사용자_아이디', 'AttributeType' => 'S'), array('AttributeName' => '피드_가이드', 'AttributeType' => 'S'), array('AttributeName' => '상태_아이디', 'AttributeType' => 'N'), ), 'KeySchema' => array( array('AttributeName' => '피드_가이드', 'KeyType' => 'HASH'), ), 'GlobalSecondaryIndexes' => arra..
카테고리 없음 2023. 11. 3. 23:25
거대한 텍스트에서 가장 반복되는 구문을 찾아보세요.

나는 방대한 텍스트 데이터를 가지고 있습니다. 전체 데이터베이스는 UTF-8의 텍스트 형식입니다. 내 전체 텍스트 데이터에서 가장 반복되는 구문 목록이 필요합니다. 예를 들어, 원하는 출력은 다음과 같습니다: { 'a': 423412341, 'this': 423412341, 'is': 322472341, 'this is': 222472341, 'this is a': 122472341, 'this is a my': 5235634 } 각 구문을 처리하고 저장하는 데는 큰 데이터베이스의 크기가 필요합니다. 예를 들어 MySQL이나 MongoDB에 저장합니다. 이 결과를 찾기 위해 더 효율적인 데이터베이스나 알고리즘이 있을까요? Solr, Elasticsearch 또는 기타 등등... 내가 각 구문마다 최대 1..
카테고리 없음 2023. 11. 2. 18:18
팬더 데이터프레임에서 백만 개의 행을 사용하여 행과 이전 행을 비교하는 가장 빠른 방법

def myJFunc(df): ... # 초기화 jnum 카운터 ... jnum = 0; ... # 각 행의 데이터프레임을 반복 (첫 번째 / 제로 제외) ... for i in range(1,len(df)): ... # 사용자가 변경되었는지 확인 ... if df.User.loc[i] == df.User.loc[i-1]: ... # 시간이 1 (시간) 이상 증가했는지 확인 ... if abs(df.Time.loc[i]-df.Time.loc[i-1])>1: ... # 새로운 열 업데이트 ... df['newcol2'].loc[i-1] = 1; ... df['newcol1'].loc[i] = 1; ... # jnum 증가 ... jnum += 1; ... # 내용이 변경되었는지 확인 ... if df.Co..
카테고리 없음 2023. 11. 2. 18:17
이전 Prev 1 ··· 298 299 300 301 302 303 304 ··· 491 Next 다음