聚合管道优化核心是将数据处理下推至数据库:$match必须前置、建联合索引、$project显式精简字段、$lookup前过滤并确保索引、$group需设allowDiskUse且提前降数据量。

直接用聚合管道替代多重查询,核心是把原来在应用层循环调用 find()、手动合并、逐条计算的逻辑,全部下推到数据库一次执行完。这不是语法替换,而是数据处理位置的迁移——从应用内存移到存储引擎内部。
$match 必须放在管道最前面,否则性能会断崖式下跌
很多人写完聚合才发现慢得离谱,查 explain() 后发现 $match 被放到了 $group 或 $lookup 后面。MongoDB 不会自动把后置的 $match 提前优化,它真就老老实实先做全量分组或关联,再过滤。
- 错误写法:
$lookup→$unwind→$match(对 10 万用户做关联,再筛出 200 个活跃用户) - 正确写法:
$match(用索引快速定位活跃用户)→$lookup→$unwind(只对这 200 条做关联) - 如果
$match条件涉及多个字段,记得建联合索引,且字段顺序要和查询条件一致
$project 要显式声明字段,别依赖默认输出
不加 $project 时,每个阶段都把整条文档往下传,尤其在 $lookup 关联大集合后,文档体积可能暴涨几倍。网络传输、内存占用、后续排序都会受影响。
- 在
$match后立即加$project,只保留后续阶段真正需要的字段,比如{ userId: 1, orderId: 1, _id: 0 } - 避免在
$group前保留大文本字段(如description、content),它们不会参与分组,但会拖慢整个流水线 - 如果要用字段做计算(比如时间差、价格折算),在
$project阶段就用表达式算好,别留到$group里再重复解析
$lookup 的性能陷阱:没加 $match 前置就关联,等于自找死路
$lookup 默认是左外连接,不做任何限制就会对左表每一条文档,扫描右表全部数据。哪怕右表只有 1 万条,左表 1000 条,也要做 1000 × 1 万次匹配。
- 必须确保
$lookup的localField和foreignField在右表上有索引(单字段或联合索引) - 更关键的是,在
$lookup前加$match缩小左表数据集;如果右表也需过滤,把条件写进$lookup的pipeline参数里,而不是靠外层$match - 示例:
{ $lookup: { from: "orders", localField: "userId", foreignField: "userId", pipeline: [{ $match: { status: "completed" } }], as: "completedOrders" } }
大数据量下 $group 内存超限,allowDiskUse: true 不是可选项
$group 阶段默认最多使用 100MB 内存。一旦分组键太多或中间结果太大(比如按毫秒级时间戳分组),就会报错 errmsg: "Sort exceeded memory limit..." 或直接失败。
- 必须显式传
{ allowDiskUse: true }选项,让 MongoDB 把临时数据写到磁盘 - 但这只是兜底方案,真正该做的是提前缩小数据范围:用
$match过滤时间窗口、用$project剔除无关字段、必要时用$bucket替代高基数$group - 注意:开启
allowDiskUse后,磁盘 I/O 成为瓶颈,别指望它和内存运算一样快
最容易被忽略的其实是阶段顺序的不可逆性——MongoDB 不会重排 $sort 或 $limit 到 $match 前面,也不会把 $project 自动插到 $lookup 后来精简右表返回字段。所有优化都得你亲手安排,漏掉一步,性能就可能差一个数量级。


















