必须用全文件SHA-256哈希并建唯一索引实现去重,上传前查询fs.files中metadata.contentHash,存在则复用_id,不存在才上传;严禁依赖filename、md5字段或chunk级哈希,避免并发重复与数据泄漏。

必须用全文件哈希,不能只比对 chunk 或 filename
GridFS 默认完全不判断内容是否重复,同名、同大小、甚至字节完全相同的文件,只要调用两次 put() 或 openUploadStream(),就会生成两套独立的 files_id 和全部 chunks。常见错误是误以为「查 filename 存在就跳过」或「只校验第一个 chunk 的哈希」——前者无法防重名不同内容,后者无法防不同文件含相同 chunk(比如两个 ZIP 包里有同名小文本)。
真正可靠的做法是:上传前计算整个文件的稳定哈希(推荐 SHA-256),然后查 fs.files 中是否存在该哈希值。这个哈希必须存在且唯一索引,否则并发时仍可能写入重复。
- 哈希必须在客户端或服务端完整读取文件后计算,流式上传中不能边传边算(除非你实现分块缓存+最终合并)
- 不要用
md5字段:它由 GridFS 驱动自动计算,但仅用于校验传输完整性,不保证跨语言/驱动一致,且默认不建索引 - 建议把哈希存进
metadata.contentHash,再建唯一索引:db.fs.files.createIndex({ "metadata.contentHash": 1 }, { unique: true })
上传前查重 + 原子性复用,不是“删旧再传”
很多人想用「先 delete 再 put」实现覆盖,但这在 GridFS 里既不原子也不安全:删除操作和上传操作之间存在时间窗口,可能被其他请求插入;且 delete 操作需手动清理 fs.chunks,漏掉就造成空间泄漏。
正确路径是:查哈希 → 存在则直接返回已有 _id → 不存在才走上传流程。整个过程不涉及任何删除动作,天然规避竞态和残留。
- Node.js 示例关键逻辑:
const existing = await db.collection('fs.files').findOne({ 'metadata.contentHash': hash }); if (existing) return existing._id; - Java 驱动中注意:
GridFSBucket.find()返回的是FindIterable,需显式调用first()获取单文档,避免空指针 - Python PyMongo 中,
gridfs_bucket.find({'metadata.contentHash': hash}).limit(1)后必须用next()或list()拿结果,不能直接当布尔值判断
chunkSize 改动对去重没帮助,别折腾
有人试图通过调小 chunkSize(比如设成 64KB)来提高 chunk 级别复用率,这是误解。GridFS 不做 chunk 内容去重,哪怕两个文件前 10 个 chunk 完全一样,它们仍会各自存一份。改小 chunkSize 只会显著增加 fs.chunks 文档数、放大索引体积、拖慢元数据查询,对节省空间毫无作用。
真正影响去重效果的只有两点:哈希算法是否稳定、哈希字段是否建了唯一索引。其余参数如 chunkSize、bucketName、disableMD5 都和内容去重无关。
- 企业级部署建议保持默认
chunkSize(255KB 或 512KB),兼顾 chunk 查询效率与文档数量平衡 - 如果业务已用
md5字段做校验,不要把它当去重依据——它不参与索引,且部分老驱动在流式上传失败时可能不写该字段 - 测试时可用
sha256sum对本地文件手动算哈希,和程序内计算结果比对,快速验证一致性
并发上传时哈希索引可能抛 DuplicateKeyError,得兜住
即使你做了查重,高并发下仍可能出现两个请求几乎同时完成哈希计算并尝试写入——因为查和写不是原子操作。这时唯一索引会触发 DuplicateKeyError: E11000 duplicate key error collection: mydb.fs.files index: metadata.contentHash_1。
这不是失败,而是系统在帮你拦截重复。你需要捕获这个错误,然后重新查一次,拿到已写入的 _id 返回即可。别让它崩掉请求,也别盲目重试写入。
- Node.js 中用
try/catch捕获MongoServerError并检查error.code === 11000 - Java 中捕获
MongoWriteException,再判断getError().getCode() == 11000 - Python 中捕获
bulk_write或insert_one抛出的DuplicateKeyError
最易被忽略的是:哈希值必须全程以二进制或十六进制字符串形式传递和存储,不能转成 base64 后再索引——不同编码会导致索引键不匹配,让唯一约束失效。


















