真正可靠的GridFS导出方式只有Python全量遍历或加防护的Bash循环;fs.list()为空需确认GridFS绑定正确数据库;必须用fs.find({})遍历所有文件,分块读取并二进制保存。

直接用 mongofiles list 配合管道导出,90% 的情况会丢文件或报错——根本原因是输出格式不可靠、特殊字符不转义、同名多版本被覆盖。真正能跑通的只有两种方式:Python 脚本全量遍历,或加了严格防护的 Bash 循环。
fs.list() 返回空?先确认 GridFS 实例绑对了数据库
这是最常卡住的一步:fs.list() 看似没报错,但返回空列表,而你在 mongosh 里明明看到 db.fs.files.countDocuments({}) > 0。问题不在数据,而在 Python 初始化时没把 database 对象传给 GridFS。
- 错误写法:
fs = gridfs.GridFS(client)或fs = gridfs.GridFS(client["mydb"])—— 后者虽能运行,但复用 client 时容易串库 - 正确写法:
db = client["mydb"]; fs = gridfs.GridFS(db),且必须用db.fs.files.countDocuments({})在代码里再验一次 -
fs.list()返回的是生成器,要转成list(fs.list())才能看长度或调试
用 fs.find({}) 遍历全部文件,别信 fs.get_last_version()
fs.get_last_version("a.pdf") 只取 uploadDate 最大的那一个,但 GridFS 允许同一 filename 多次上传,每次生成独立 _id 和完整文件块。漏掉历史版本,等于丢数据。
- 必须用
fs.find({})拿到所有文件文档,每个file_obj包含_id、filename、uploadDate、metadata - 文件名含
/、:、*、空格或 Unicode 时,直接当本地路径会触发OSError: [Errno 22] Invalid argument - 清洗建议:
re.sub(r'[:"/\|?*]', "_", file_obj.filename),Windows 下尤其注意反斜杠和冒号
大文件分块读,小文件也别用 file_obj.read() 一次性加载
哪怕只是 5MB 的 PDF,用 file_obj.read() 也会把整个内容载入内存;100 个并发下载,进程就 OOM 了。分块不是可选项,是必须项。
- 正确做法:
grid_out = fs.get(file_obj._id)得到流对象,再用iter(lambda: grid_out.read(8192), b"")分 8KB 块读 - 不要写
with open(..., "w")—— 必须是"wb"二进制模式,否则图片、PDF 会损坏 - 如果要保留原始上传时间或自定义字段,从
file_obj.uploadDate或file_obj.metadata里取,别只依赖文件名
mongofiles 批量导出只能当备选,且必须加 --quiet + 引号保护
mongofiles list | xargs mongofiles get 几乎必挂:输出带制表符、空格截断、中文乱码、同名文件反复覆盖。唯一能勉强用的,是加了防护的 Bash 循环。
- 必须加
--quiet:mongofiles list --quiet输出纯文件名,每行一个,无头尾提示 - 循环中每个
$f必须加双引号:mongofiles get "$f",否则空格处直接裂开 - 必须重命名避免覆盖:
mv "$f" "export_$(date +%s%N)_$f",因为mongofiles get总是取最新版,旧版彻底丢失 - 它不暴露
_id,无法按 ID 精确下载;也不支持跳过已存在文件、断点续传或并发控制
真正难的不是“怎么导”,而是“怎么不丢”:同名多版本、非法文件名、内存溢出、连接中断后残留、元数据丢失——这些细节堆在一起,脚本才能在生产环境跑稳。别省那几行清洗和分块逻辑,它们才是决定成败的关键。


















