LIMIT OFFSET 在大数据量时变慢,是因为MySQL仍需扫描并丢弃OFFSET前的所有行;游标分页通过记录上一页末尾排序值(如id)实现高效分页,避免全表扫描。

为什么 LIMIT OFFSET 在大数据量时会变慢
MySQL 执行 LIMIT 100000, 20 时,并不是跳过前 10 万行直接读第 100020 行,而是仍要扫描并丢弃前 10 万行。数据量越大,OFFSET 越高,性能越差——这是 SQL 层面的固有缺陷,和 Gin 无关,但你用 Gin 写接口时很容易把它当“默认方案”。
常见错误现象:SELECT * FROM article ORDER BY id DESC LIMIT ?, ? 在 page=5000、page_size=20 时响应超时,慢查询日志里显示执行时间 >2s。
- 别在分页参数没校验前就拼 SQL:比如
page传负数或字符串,strconv.Atoipanic 后整个 handler 崩溃 - 别让前端随意传大
page值:不加限制时,恶意请求可轻易触发全表扫描 - 别在 GORM 中反复调用
db.Offset().Limit()多次——GORM 的*gorm.DB是链式累积状态,条件可能串味
用游标分页替代 OFFSET 的实际写法
游标分页本质是“记住上一页最后一条记录的排序字段值”,下一页查询从该值之后开始取。它绕开了 OFFSET 的扫描成本,且天然支持无感知滚动加载。
以按 id DESC 分页为例,前端首次请求不带游标,后续请求带 cursor=12345(即上一页最后一条的 id):
- 后端解析:
cursor := c.Query("cursor"),非空时用strconv.ParseInt(cursor, 10, 64)转换并校验是否 >0 - SQL 构建:
db.Where("id ,注意 WHERE 和 ORDER 必须匹配 - 返回结果时,把新一批数据的第一条
id作为下一页cursor返回(不是最后一条) - 必须确保排序字段有索引,否则 WHERE + ORDER 仍会慢;
id主键默认有,但若按created_at游标,则需手动加联合索引
Gin 中结构体绑定 Query 参数的避坑点
用 c.ShouldBindQuery(&opts) 解析分页参数看似省事,但 struct tag 和验证规则容易出错。
-
Page int `form:"page" binding:"required,min=1,default=1"`:这个default=1只在page参数完全未传时生效;若传了page=(空字符串),binding会因类型不匹配失败,除非加omitempty - 字段必须首字母大写(exported),否则绑定静默失败,
opts.Page保持 0 值,导致OFFSET -20这类非法 SQL - 避免在 handler 里多次调用
c.Query:比如先取page校验,再取page_size,不如一次性绑定到结构体,逻辑集中且可复用 - 对
page_size强制设上限(如max=100),防止前端传page_size=10000导致单次查询拖垮 DB
GORM 分页封装时如何避免条件串味
GORM 的 *gorm.DB 实例不是线程安全的,也不是无状态的。在 service 层复用同一个 db 实例拼不同条件,极易导致上一个请求的 Where 残留到下一个请求中。
- 不要写:
db := gormDB.Model(&Article{})然后在多个方法里共用这个db变量 - 正确做法:每次查询都从基础 model 新建实例,如
gdb := gormDB.Model(&Article{}),再链式追加Where/Order/Limit - Count 查询必须和 Find 查询用完全相同的 WHERE 条件,否则分页总数不准;建议把条件组装逻辑抽成函数,统一调用
- 如果用了软删除(
gorm.DeletedAt),确认Unscoped()是否被误加——多数列表不需要已删除数据,但 Count 时漏掉会导致总数偏高
游标分页不是银弹:它要求排序字段严格唯一且单调,created_at 在高并发写入时可能重复,这时得加二级排序(如 ORDER BY created_at DESC, id DESC),并在游标里传两个值。这点很容易被忽略,一上线就发现翻页漏数据。



















