千万级集合索引损坏重建必须停写、先validate确认损坏类型,禁用主节点直接操作,副本集采用滚动构建(摘从节点独立建索引),分片集群需逐shard滚动且关闭chunk迁移、单独监控各shard进度。

直接在主节点上运行 createIndex 或 reIndex 重建千万级集合的损坏索引,大概率导致查询卡死、从节点失联甚至主从切换失败——这不是操作慢的问题,而是 WiredTiger 引擎在全量扫描+排序+写入阶段必然引发的 I/O 和 CPU 尖峰。
先用 validate 确认是不是真损坏
很多人跳过这步就删索引,结果发现 dropIndex 自己 hang 住或报错。必须先验证:
- 运行
db.collection.validate({full: true}),重点看valid字段和errors数组 - 如果出现
Index key mismatch或Invalid index entry,基本可判定是索引层损坏,不是文档层 -
valid: false但errors为空?可能是存储文件损坏,得走--repair路径
重建前必须停写并检查锁状态
后台建索引(background: true)不等于无锁——它仍会竞争内存和磁盘带宽,而前台建索引会拿集合级排他锁,阻塞所有读写。
- 用
db.currentOp({secs_running: {$gt: 10}})查看长事务,优先killOp非关键写操作 - 确认无活跃写入后,再执行
db.collection.dropIndex("index_name");若失败,改用db.runCommand({dropIndexes: "collection", index: "index_name"}) - 重建时强制加
{background: true},哪怕集合只有几十万条——避免锁表风险
别在主节点上重建:用滚动构建方案
副本集环境下,唯一可控的降影响方式是把一个从节点临时摘出,作为独立实例建索引。但这不是“自动变慢”,而是一套有硬约束的操作流程:
-
oplogSizeMB必须足够大,否则从节点在独立建索引期间会因 oplog 截断无法追上主节点 - 目标从节点磁盘剩余空间 ≥ 当前集合数据大小的 1.8 倍(WiredTiger 构建索引额外占约 0.8× 数据体积)
- 该节点不能是隐藏节点(
hidden: false)、投票权必须开启(votes: 1)、优先级不能为 0(priority > 0) - 建索引命令中必须显式写
{background: true},否则独立 mongod 进程会阻塞整个实例
分片集群不能照搬副本集滚动方案
每个 shard 是副本集,但 config server 和 mongos 不参与索引构建。你不能简单地把某个 shard 的 secondary 摘出来单独建索引——它属于整个分片拓扑,摘出会破坏 chunk 分布元数据。
分片集群下重建损坏索引,只能逐个 shard 执行滚动构建,且必须确保:mongos 路由未被干扰、chunk migration 处于关闭状态、所有 shard 的 oplog 容量同步评估过。最容易被忽略的是:shard 内部的索引构建进度无法通过主 mongos 统一监控,得登录每个 shard 的 primary 单独查 currentOp。


















