mongos缓存过期后批量重拉config server元数据会引发瞬时读压暴增,导致config server CPU飙升、客户端超时集中爆发;其根本原因是默认惰性按需刷新机制在shard主节点切换时触发多请求并发拉取,叠加应用重试、分片键倾斜及mongos实例独立缓存等放大效应。

mongos缓存过期后批量重拉config server元数据
mongos本身无状态,但会缓存从config server获取的分片路由信息(比如chunk分布、分片状态)。当某个shard副本集发生选举——尤其是主节点切换时,该shard的host:port可能暂时不可达或返回NotMasterNoSlaveOk,mongos检测到异常后会主动失效本地缓存,并在下一次请求到来时同步拉取最新配置。如果此时大量请求恰好集中到达,每个请求都会触发一次config.shards和config.chunks的查询,造成对config server的瞬时读压暴增。
常见现象包括:config server CPU飙升、mongos日志中高频出现“refreshing chunk metadata”、客户端超时集中在选举后1–2秒内爆发。
- 默认缓存刷新是惰性+按需的,不是定时轮询,所以压力集中在“第一个撞上缓存失效的请求”及其后续并发请求
- config server副本集若也刚完成选举,
mongos重连时可能反复失败,进一步延长缓存不可用窗口 - 避免方式:确保config server三节点部署且网络稳定;不建议调小
refreshIntervalMS(默认30000),反而会放大抖动
shard主节点切换期间mongos持续转发请求到旧主地址
mongos不会实时监听每个shard成员的状态变更,它依赖心跳和错误响应来更新内部节点列表。选举发生后,旧主降为secondary,但mongos可能还在把请求发给它,直到收到NotMaster错误并更新路由表。这段时间里,所有发往该shard的写请求都会失败,而应用层若配置了重试(如driver默认的3次重试),就会在几秒内生成数倍原始请求量的无效流量。
典型表现:mongos日志中密集出现“not master and slaveOk=false”、shard secondary节点CPU突增(因不断处理被拒绝的写)、应用层观测到写成功率断崖式下跌,但很快恢复。
- 这个问题和
writeConcern无关,是路由层对节点角色变化的感知延迟导致的 - 升级到MongoDB 4.4+可缓解:新版本mongos支持更细粒度的节点健康探测,但仍无法完全消除窗口期
- 应用侧应控制重试策略,禁用无节制的指数退避重试,尤其对写操作
分片键设计不当放大单点选举影响范围
如果分片键选择导致数据严重倾斜(例如全部写入某一个chunk),那么这个chunk所在的shard就承载了远超均值的QPS。一旦该shard发生选举,不仅自身服务中断,还会让mongos把本该分散到多个shard的请求,全部卡在同一个失败路径上——相当于把集群级的负载打到了单点故障上。
例如:用user_id哈希分片本意是均匀,但如果业务中80%请求集中在10个VIP用户,而他们的user_id恰好落在同一chunk,则选举影响面远超预期。
- 验证方法:用
sh.status()观察各shard的chunks数量和size是否均衡;用db.collection.stats().sharded确认是否真分片 - 生产环境务必在上线前做分片键压测,模拟真实流量分布,而不是只看文档数
- 不要依赖“自动平衡器”实时修复倾斜——balancer运行有间隔(默认60秒),且迁移chunk本身会加锁、阻塞事务
为什么加更多mongos实例不一定能缓解雪崩
很多人第一反应是“加mongos顶并发”,但mongos之间不共享路由缓存,每个实例都独立维护自己的config metadata cache。选举引发的雪崩本质是元数据刷新风暴,不是连接数瓶颈。加5个mongos,等于放大5倍的config server查询压力,还可能因各实例缓存更新时间错开,把冲击拉长成持续抖动。
真正有效的做法是降低单次刷新的代价,而非堆实例数。
- 确保config server使用高性能SSD+足够内存,
config.system.sessions等集合建好索引 - 禁止在config server上运行任何非集群管理类操作(如业务聚合、临时备份)
- mongos启动参数中
--chunkSize保持默认(64MB),过小会导致chunk数量爆炸,元数据体积剧增,加剧刷新开销


















