스택큐힙리스트

저는 대용량 파일을 위한 확장 가능한 저장소를 생성하는 가장 좋은 솔루션을 찾고 있습니다. 파일의 크기는 1MB에서 500-600GB까지 다양할 수 있습니다. 하둡(Hadoop)과 그의 HDFS에 대해 몇 가지 정보를 찾았는데, Map/Reduce 작업이나 다른 많은 기능이 필요하지 않기 때문에 약간 복잡해 보입니다. 지금은 몽고디비(MongoDB)와 그의 GridFS를 파일 저장소로 사용하기로 생각하고 있습니다. 그리고 이제 질문들입니다: 동시에 몇 개의 파일을 쓰려고 할 때 GridFS에 어떤 일이 발생할까요? 읽기/쓰기 작업에 대한 잠금(Lock)이 있을까요? (저는 파일 저장소로만 사용할 예정입니다) GridFS에서 파일은 RAM에 캐시될까요? 그리고 이것이 읽기/쓰기 성능에 어떤 영향을 미칠까요..

주요 초점이 기계 학습 알고리즘 구현에 있으므로, 대용량 데이터를 적재하고 자체 알고리즘을 업로드하여 분산 처리를 고려하지 않고도 데이터를 처리할 수 있는 충분한 CPU 자원을 제공하는 실행 중인 플랫폼이 있는지 여부를 여쭤보고 싶습니다. 그럼에도 불구하고, 이와 같은 플랫폼이 존재하든 존재하지 않든, 특정 고객 요구에 맞게 전체 시스템을 제작하여 생산에 넣을 수 있는 팀에서 일할 정도로 충분히 큰 그림을 그리고 싶습니다. 예를 들어, 소매업자는 매일 구매를 분석하고자 하므로 매일 기록을 처리할 수 있는 인프라에 모든 일일 레코드를 업로드해야 합니다. 이를 위해 맞춤형 기계 학습 알고리즘을 사용해 데이터를 처리할 수 있는 충분한 능력을 갖춘 시설이 필요합니다.위의 내용을 간단한 질문으로 정리하면: 기계 ..

호텔은 현재 질문에 적합하지 않습니다. 우리는 답변이 사실, 참고 자료 또는 전문 지식으로 뒷받침되어야 함을 기대하지만, 이 질문은 아마도 논쟁, 논쟁, 투표 또는 확장된 토론을 유도할 것입니다.이 질문이 개선될 수 있고 가능하면 다시 열릴 수 있다고 느낀다면 도움말 센터를 방문하십시오. 10년 전에 닫힘 . 저는 빅 데이터 기술에 대해 배우고 싶습니다. 미래에 이 분야에서 일하고 싶습니다. 어떤 좋은 책을 추천해주실 분 계신가요? Hadoop, HBase에 대해 배울 수 있는 책이 있을까요? 초급 - 중급 - 고급 - 미리 감사드립니다답변 1초보자에게 좋은 시작점은 Coursera의 Big Data 코스가 될 것 같습니다. 예를 들어, 저는 MapReduce 기술의 기초를 배웠습니다.답변 2큰 데이터를..

저는 R을 사용하여 로그 파일 분석을 진행할 예정입니다 (R을 사용할 수 없는 경우를 제외하고), 데이터가 RAM에 맞아야 한다는 점을 이해하고 있습니다 (인터페이스를 사용하여 키-값 저장소에 고정된 필터를 사용하지 않는다면 어떻게 할지 모르겠습니다). 그러므로, 데이터가 RAM에 차지할 공간을 미리 알 수 있는 방법과 충분한지 여부를 알고 싶습니다. 제가 사용 가능한 RAM 용량을 알고 있습니다 (XP 환경에서 3GB으로 크지 않습니다) 그리고 로그 파일이 최종적으로 얼마나 많은 행과 열을 갖게 될지, 그리고 열의 데이터 유형이 어떠해야 하는지 알고 있습니다 (읽을 때 확인해야 할 필요가 있는 것 같습니다). 어떻게 해야 분석을 위한 R의 결정에 대해서 결정을 내리는데 사용할 수 있는지 알 수 있을까요..