讲师中心 微信公众号
AI工具推荐 视频效率加速

PostgreSQL 大分页(LIMIT/OFFSET)性能优化方案

冬墨吖_6443

冬墨吖_6443

发布时间:2026-05-08 11:23:50

|

306人浏览过

|

来源于php中文网

原创

应改用键集分页,即基于排序字段值(如id > last_id)过滤查询,避免OFFSET线性扫描;辅以覆盖索引、延迟关联和混合分页策略提升大数据量下分页性能。

postgresql 大分页(limit/offset)性能优化方案 - php中文网

如果您在 PostgreSQL 中执行大偏移量的分页查询(如 OFFSET 100000 LIMIT 20),查询响应明显变慢,则很可能是由于数据库需扫描并丢弃大量前置行,即使走索引也无法避免回表判断可见性。以下是解决此问题的步骤:

一、改用键集分页(游标分页)

该方法规避 OFFSET 的线性扫描开销,基于排序字段的确定值进行条件过滤,每次仅检索“下一页所需范围”,不依赖行位置,性能稳定且可扩展。

1、确保排序字段具备高选择性、严格单调(如主键 id 或带时序唯一性的 created_at)、且已建立复合索引(含排序字段及查询所需列)。

2、首次查询获取第一页数据,并记录最后一条记录的排序字段值(例如 last_id = 150000)。

3、后续查询使用 WHERE 条件替代 OFFSET:SELECT * FROM users WHERE id > 150000 ORDER BY id LIMIT 20。

4、若需上翻页,可缓存前一页最小值,或改用反向查询:SELECT * FROM users WHERE id < 149981 ORDER BY id DESC LIMIT 20,再反转结果集。

二、延迟关联优化(适用于 JOIN 场景)

当分页涉及多表 JOIN 时,直接对 JOIN 结果使用 LIMIT/OFFSET 会导致中间结果集膨胀、重复扫描;延迟关联先定位主表 ID 子集,再按需补全关联字段,大幅减少 I/O 和内存开销。

1、编写子查询仅获取主表分页所需的主键(如 user_id),按排序字段排序并应用 LIMIT/OFFSET:SELECT user_id FROM users ORDER BY user_id LIMIT 20 OFFSET 100000。

2、将该子查询作为派生表,与原表或关联表进行 INNER JOIN:SELECT u.*, o.order_no FROM users u INNER JOIN orders o ON u.user_id = o.user_id WHERE u.user_id IN ( SELECT user_id FROM users ORDER BY user_id LIMIT 20 OFFSET 100000 )。

3、为提升子查询效率,确保 users 表的排序字段(如 user_id)上有高效索引,且无 WHERE 过滤条件导致索引失效。

三、混合分页策略(小偏移保留 OFFSET,大偏移自动切换)

兼顾管理后台跳页需求与深分页性能,在业务层实现阈值控制:低偏移量维持简单 OFFSET/LIMIT,超过设定页码后强制转为键集分页,并隐藏“跳转至指定页”入口,仅提供“下一页”导航。

1、设定阈值(如 page_size = 20,max_offset_page = 100),对应最大 OFFSET 值为 1980(即 (100 − 1) × 20)。

2、当前页码 ≤ 100 时,生成标准 SQL:SELECT * FROM products ORDER BY id LIMIT 20 OFFSET 当前偏移值

3、当前页码 > 100 时,拒绝接收任意 page_number 参数,仅接受上一页返回的游标值(如 cursor_id = 123456),生成 WHERE id > 123456 ORDER BY id LIMIT 20。

4、前端在页码 > 100 后禁用页码输入框,仅显示“下一页”按钮,并携带服务端返回的游标参数发起请求。

四、启用索引只扫描(Index Only Scan)并维护可见性映射

当查询仅涉及索引列且表中多数页面为“clean”(无死亡元组)时,PostgreSQL 可跳过回表检查可见性,显著加速大 OFFSET 场景下的索引扫描。

1、确认查询语句不包含非索引列(如 SELECT id, name FROM t WHERE ... ORDER BY id,需确保 name 已包含在索引中)。

2、创建覆盖索引:CREATE INDEX idx_covering ON t (id) INCLUDE (name);或使用多列索引:CREATE INDEX idx_id_name ON t (id, name)。

3、定期执行 VACUUM ANALYZE t,确保 visibility map 更新完整,使 index only scan 能识别 clean pages。

4、验证是否命中索引只扫描:运行 EXPLAIN (ANALYZE, BUFFERS) 查询,观察执行计划中是否出现 “Index Only Scan”,且 “Heap Fetches” 为 0。

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
AI视频生成软件推荐
AI视频生成软件推荐

本专题汇总了当前主流的AI视频生成软件推荐与排行榜单,涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比,助您快速选对适合创作需求的AI视频生成工具。

140

2026.09.16

ai生成视频的工具免费版合集
ai生成视频的工具免费版合集

本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单,涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异,助您快速选择合适工具开启AI视频创作。

60

2026.09.16

Pandas时间序列分析与可视化报表
Pandas时间序列分析与可视化报表

本专题整理Pandas日期转换、时间索引、重采样、滚动窗口、时区处理、plot绘图、Styler表格样式和报表输出方法。

60

2026.09.16

Pandas数据筛选索引与清洗处理
Pandas数据筛选索引与清洗处理

本专题整理Pandas中的loc、iloc、条件筛选、query查询、缺失值处理、重复值删除、类型转换和字符串列清洗方法。

40

2026.09.16

Pandas数据读取导入与文件导出处理
Pandas数据读取导入与文件导出处理

本专题整理Pandas读取CSV、Excel、JSON、SQL、Parquet等文件的方法,以及to_csv、to_excel、to_sql和to_parquet等常用数据导出流程。

40

2026.09.16

GDB怎么设置断点
GDB怎么设置断点

本专题介绍GDB按照函数名、源代码行号和文件位置设置断点的方法,详细说明run、continue、next、step等命令的配合使用,帮助定位程序崩溃、逻辑异常及代码未按预期执行的问题。

360

2026.09.11

GDB怎么查看变量值
GDB怎么查看变量值

本专题介绍GDB调试过程中查看变量值的具体方法,涵盖局部变量、函数参数、数组、结构体和指针内容查询,同时整理变量持续显示、格式化输出及无法读取变量时的排查思路。

120

2026.09.11

GDB C++程序怎么调试
GDB C++程序怎么调试

本专题围绕GDB调试C++程序的实际过程,详细说明程序编译、调试器启动、命令行参数传入、断点命中和程序继续运行等步骤,并介绍条件断点、临时断点和观察点的设置方法,方便开发者跟踪复杂代码的执行状态。

120

2026.09.11

Iris框架MVC架构与依赖注入合集
Iris框架MVC架构与依赖注入合集

本专题讲解Iris框架MVC开发模式,包含控制器注册、方法命名与路径映射、By参数绑定、BeforeActivation自定义路由,以及依赖注入容器注册、数据库依赖注入、返回值序列化及MVC下WebSocket与gRPC整合实践。

80

2026.09.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn