스택큐힙리스트

1) Mgr에서 클라이언트 요청에 따라 여러 모니터 데이터를 어떻게 정렬할 수 있을까요? 각 모니터는 클라이언트 요청에 맞게 결과를 제공할 수 있지만, 여전히 자바를 통해 여러 기계 데이터를 어떻게 병합할 수 있을까요? MGR에서 여러 클러스터에서 검색된 결과를 메모리 내부에서 SQL 집계/스칼라 함수(예: Groupby, orderby, avg)를 수행하는 방법은 무엇인가요? 자바에서 DB SQL 집계/스칼라 기능을 어떻게 구현할 수 있을까요? 알려진 API가 있나요? Hadoop의 mapreduce 기술에서 Reduce 부분이 필요한 것 같습니다. 2) UI에서의 요청(예: select count(*) from DB where Memory > 1000MB)을 여러 기계로 전달해야 합니다. 이제 개별 ..

다른 쇼핑 항목을 갖는 고객 목록 사이의 관련성을 계산하기 위해 멀티스레딩을 사용하는 데 어려움을 겪고 있습니다. 1,000 명의 고객으로 구성된 판다 데이터 프레임이 있으므로 100 만 번의 관련성을 계산해야 하며, 이 작업은 너무 오래 걸립니다. 데이터 프레임의 예는 다음과 같습니다: ID 항목 1 바나나 1 사과 2 오렌지 2 바나나 2 토마토 3 사과 3 토마토 3 오렌지 다음은 코드의 간소화된 버전입니다:import pandas as pd def relatedness (customer1, customer2): # 고객간의 관련성을 측정하기 위한 계산 수행 data= pd.read_csv(data_file) customers_list= list (set(data['ID'])) relatedness..

나는 몇 명의 소셜 미디어 사용자와 그의/그녀의 팔로워를 가진 데이터 테이블을 가지고 있습니다. 원래의 데이터 테이블은 다음 형식을 갖고 있습니다: X.USERID FOLLOWERS 1081 4053807021,2476584389,4713715543, ... 따라서 각 행은 사용자와 그의/그녀의 ID와 쉼표로 구분된 팔로워 벡터를 포함합니다. 총 24,000개의 고유한 사용자 ID와 160,000,000개의 고유한 팔로워가 있습니다. 원래의 테이블을 다음 형식으로 변환하고 싶습니다: X.USERID FOLLOWERS 1: 1081 4053807021 2: 1081 2476584389 3: 1081 4713715543 4: 1081 580410695 5: 1081 4827723557 6: 1081 7043..

나는 매우 큰 pyspark.sql.dataframe.DataFrame인 df를 가지고 있습니다. 내가 필요한 레코드를 작성할 수 있는 방법이 필요합니다 - 따라서 특정 인덱스로 레코드에 액세스할 수 있습니다. (또는 인덱스 범위로 레코드 그룹을 선택할 수 있습니다) Pandas에서는 다음과 같이 할 수 있었습니다. indexes=[2,3,6,7] df[indexes] 여기서 비슷한 기능을 원합니다, (그리고 dataframe을 pandas로 변환하지 않는다면) 내가 할 수 있는 최선은 다음과 같습니다: 원래 데이터프레임의 모든 객체를 열거하는 것입니다: indexes=np.arange(df.count()) df_indexed=df.withColumn('index', indexes) where() 함수를..