Offset分页在高并发下必然变慢,因数据库需扫描、排序并丢弃前N行,I/O与CPU开销线性增长,导致Buffer Pool压力陡增、连接池等待飙升甚至“too many connections”错误。

Offset分页在高并发下为什么必然变慢
因为数据库执行 OFFSET 100000 时,不是“跳过”,而是老老实实扫描、排序、丢弃前 10 万行——每翻一页,I/O 和 CPU 开销线性上涨。高并发下多个大偏移查询同时打进来,MySQL/PostgreSQL 的 Buffer Pool 压力陡增,连接池等待时间飙升,甚至触发 too many connections 错误。
常见错误现象:db.Offset(99999).Limit(20) 在压测中导致数据库 CPU 持续 95%+;同一请求两次调用返回不同记录顺序;第 500 页开始响应超时(>2s)。
- 即使加了
id索引,B+ 树仍需逐节点跳转,无法直接定位物理位置 - MVCC 机制下,不同事务快照看到的“第 N 行”可能不一致,导致分页结果错乱
- 前端传入的
page和page_size若未校验,恶意构造page=1000000&page_size=1可直接拖垮 DB
游标分页必须满足的三个硬条件
游标分页不是“换种写法”,而是绕开 OFFSET 扫描缺陷的底层方案。它能稳的前提是:排序字段可唯一锚定位置、索引覆盖完整、前后端约定清晰。
- 首排序字段必须有索引、非空、高基数(
id最稳;created_at必须补id防重复,例如ORDER BY created_at DESC, id DESC) - 复合排序对应索引必须严格匹配顺序,如
ORDER BY status, created_at DESC, id DESC,则索引必须是INDEX idx_status_created_id (status, created_at, id) - 游标值(如
last_id)必须来自上一页最后一条记录的排序字段值,且后端不做任何转换——前端传什么,WHERE就拼什么
错误示例:db.Where("id > ?", firstID).Order("id ASC").Limit(20)(用了第一页第一条,不是最后一条);或把 last_id 当字符串拼进 SQL 而不校验类型,导致 WHERE id > "abc" 触发全表扫描。
GORM 中 Count 总数查询怎么避免拖慢主链路
Count() 不是“顺手加一下”的操作。它在大数据量、复杂条件(JOIN / 子查询)下,很可能比主查询还慢,且极易因复用链式 DB 实例而条件错位。
- 绝对不要写
db.Where(...).Limit(...).Offset(...).Count(&total)——Count会忽略Limit和Offset,但是否继承Where取决于 GORM 版本和 session 复用逻辑,行为不可靠 - 简单场景用独立会话:
db.Session(&gorm.Session{NewDB: true}).Model(&User{}).Where("status = ?", "active").Count(&total) - 含 JOIN 的复杂查询,必须手写子查询:
db.Raw("SELECT COUNT(*) FROM (SELECT 1 FROM users u JOIN profiles p ON u.id = p.user_id WHERE p.active = ?) AS t", true).Scan(&total) - UI 不强制显示“共 XX 条”时,直接不查总数——省一次全表扫描,QPS 可翻倍
连接池与预编译配置不配好,游标也救不了你
游标分页再稳,如果底层连接池撑不住并发,或者语句没预编译,性能照样崩。GORM 默认配置在生产环境几乎必然出问题。
- 必须初始化后立刻调用
db.DB()并设置:SetMaxOpenConns(100)(根据峰值 QPS 计算)、SetMaxIdleConns(20)、SetConnMaxLifetime(time.Hour) -
PrepareStmt: true要开启——重复查询性能提升 40%+,尤其游标分页中WHERE id > ?这类参数化查询受益最大 -
SkipDefaultTransaction: true推荐开启,避免每个查询都套一层事务开销 - 别信 “默认够用”。实测中,
SetMaxOpenConns从 0(无限制)调到 100,高并发下连接超时率从 12% 降到 0.3%
真正卡点不在“怎么写分页”,而在“有没有让每条 SQL 都走索引 + 每个连接都稳住不泄漏 + 每次查询都不重复解析语句”。这三个条件漏一个,高并发下就容易在凌晨三点收到告警。



















