MongoDB는 파일 저장소로 사용됩니다.

저는 대용량 파일을 위한 확장 가능한 저장소를 생성하는 가장 좋은 솔루션을 찾고 있습니다. 파일의 크기는 1MB에서 500-600GB까지 다양할 수 있습니다.

하둡(Hadoop)과 그의 HDFS에 대해 몇 가지 정보를 찾았는데, Map/Reduce 작업이나 다른 많은 기능이 필요하지 않기 때문에 약간 복잡해 보입니다. 지금은 몽고디비(MongoDB)와 그의 GridFS를 파일 저장소로 사용하기로 생각하고 있습니다.

그리고 이제 질문들입니다:

1. 동시에 몇 개의 파일을 쓰려고 할 때 GridFS에 어떤 일이 발생할까요? 읽기/쓰기 작업에 대한 잠금(Lock)이 있을까요? (저는 파일 저장소로만 사용할 예정입니다)


2. GridFS에서 파일은 RAM에 캐시될까요? 그리고 이것이 읽기/쓰기 성능에 어떤 영향을 미칠까요?


3. 더 효율적으로 문제를 해결할 수 있는 다른 솔루션이 있을까요?

감사합니다.

답변 1

동시에 몇 개의 파일을 쓰려고 gridfs를 사용하면 어떻게 될까요? 읽기/쓰기 작업을 위해 잠금이 있을까요? (나는 파일 저장소로만 사용할 것입니다)

GridFS는 단순히 사양을 사용하기 때문에 다른 컬렉션과 동일한 잠금을 사용합니다. 데이터베이스 수준의 읽기 및 쓰기 잠금 (2.2+) 또는 전역 수준의 잠금 (2.2 이전)을 사용합니다. 이 두 가지는 서로 영향을 미칩니다. 즉, 작성 중인 문서를 일관되게 읽을 수 있도록 어떻게 보장할 수 있을까요?

그렇다고 해도 가능한 충돌 가능성은 귀하의 시나리오 특정 사항, 트래픽, 동시 쓰기/읽기의 수 및 우리가 알지 못하는 여러 가지 요소에 따라 존재할 수 있습니다.

문제를 더 효율적으로 해결할 수 있는 다른 솔루션이 있을까요?

저는 개인적으로 S3 (참조: @mluggy)에서 줄인 중복 형식으로 파일에 대한 메타데이터의 일부를 MongoDB에 저장하는 것이 가장 좋다고 발견했습니다. GridFS를 사용하지 않고도 chunks 콜렉션 없이 사용하여 S3가 분배, 백업 및 기타 작업을 처리하도록 할 수 있습니다.

분명하게 설명했길 바랍니다. 도움이 되었으면 좋겠습니다.

편집: 실수로 언급한 것과 달리 MongoDB는 컬렉션 수준의 잠금이 아닌 데이터베이스 수준의 잠금입니다.

답변 2

몽고DB를 파일 저장소로 사용하기
몽고DB는 많은 기업에서 데이터 저장 및 관리를 위해 사용되고 있는 NoSQL 데이터베이스입니다. 하지만 몽고DB의 다양한 기능 중 하나인 파일 저장 기능은 많은 사람들에게 알려져 있지 않습니다. 이번 글에서는 몽고DB를 파일 저장소로 사용하는 방법과 그에 따른 장점에 대해 알아보도록 하겠습니다.
몽고DB는 BLOB(Binary Large Object) 데이터를 저장할 수 있는 기능을 제공합니다. BLOB 데이터는 일반 텍스트 데이터와 달리 이미지, 동영상, 문서 등 크기가 큰 파일들을 포함할 수 있습니다. 몽고DB는 이러한 BLOB 데이터를 적절히 저장하고 손쉽게 관리할 수 있는 기능을 제공하므로, 중요한 파일들을 안전하게 저장하고 필요할 때 가져올 수 있습니다.
첫 번째로, 몽고DB를 파일 저장소로 사용함으로써 발생할 수 있는 데이터 무결성과 안정성에 대해 이야기해보겠습니다. 몽고DB는 ACID(원자성, 일관성, 고립성, 지속성) 원칙을 준수하며, 데이터의 일관성과 무결성을 보장합니다. 이는 파일 저장소로 사용될 데이터에 대해서도 동일하게 적용됩니다. 몽고DB의 저장 기능을 사용하면 파일의 일부분이 손상되거나 유실되는 등의 문제를 방지할 수 있으며, 필요한 경우에는 백업과 복구 기능을 통해 손상된 파일을 복원할 수 있습니다.
두 번째로, 몽고DB를 파일 저장소로 사용함으로써 발생할 수 있는 데이터 접근성과 효율성에 대해 살펴보겠습니다. 몽고DB는 파일을 저장함과 동시에 샤딩(sharding) 기능을 제공합니다. 샤딩은 큰 데이터셋을 여러 개의 서버에 분산하여 저장하고 접근하는 기술로, 데이터의 분산 저장과 병렬 처리를 통해 데이터 접근 시간을 최소화합니다. 또한, 몽고DB는 데이터 압축과 인덱싱 기능을 통해 파일 접근 속도를 향상시키며, 메모리 캐싱을 통해 일관된 데이터 접근을 제공합니다.
마지막으로, 몽고DB를 파일 저장소로 사용함으로써 발생할 수 있는 비용 효율성과 유지보수의 장점에 대해 알아보도록 하겠습니다. 몽고DB는 오픈 소스 기반의 데이터베이스이므로 소프트웨어 비용이 없으며, 저렴한 하드웨어에서도 운영 가능합니다. 또한, 몽고DB는 쉽게 확장 가능하며, 클라우드 기반의 배포 모델을 지원하기 때문에 유지보수 비용 및 노력을 최소화할 수 있습니다.
이러한 이유로 몽고DB를 파일 저장소로 사용하는 것은 큰 파일 데이터의 안전한 보관과 효율적인 관리를 위한 탁월한 선택입니다. 몽고DB는 데이터 무결성과 안정성, 효율적인 데이터 접근, 비용 효율성과 유지보수의 장점을 가지고 있기 때문에 다양한 기업과 개인들의 파일 저장소로서의 선택으로 많은 관심을 받고 있습니다. 이를 통해 몽고DB의 파일 저장 기능이 더욱 알려지고 널리 사용되기를 바라며, 여러분들도 파일 저장소로서의 몽고DB의 장점을 경험할 수 있기를 기대합니다.