讲师中心 微信公众号
AI工具推荐 视频效率加速

Python怎么做分页接口_游标分页与偏移量分页的后端数据库实现

阿磊大大_5182

阿磊大大_5182

发布时间:2026-03-21 01:15:08

|

368人浏览过

|

来源于php中文网

原创

偏移量分页在大数据量下变慢是因为数据库每次需从头扫描并跳过OFFSET行,如查第1000页(OFFSET 99999)需丢弃近10万行,导致IO和CPU开销陡增。

python怎么做分页接口_游标分页与偏移量分页的后端数据库实现

偏移量分页(OFFSET/LIMIT)为什么在大数据量下变慢

因为数据库每次都要从头扫描,跳过前 OFFSET 行再取数据。100 万条记录查第 1000 页(OFFSET 99999),MySQL 可能要先定位并丢弃近 10 万行,IO 和 CPU 开销陡增。

常见错误现象:SELECT * FROM orders ORDER BY created_at DESC LIMIT 20 OFFSET 200000 响应从 20ms 涨到 2s+,且越往后越慢。

  • 适用场景:数据量小(
  • ORDER BY 字段必须有索引,否则 OFFSET 会触发全表扫描
  • PostgreSQL 对大 OFFSET 有优化(如 cursor_tuple_fraction),但 MySQL 几乎无缓解手段
  • 不要用 COUNT(*) 做总页数——用户根本不需要知道“共 5032 页”,反而拖垮接口

游标分页(Cursor-based)怎么写才真正安全

核心是用上一页最后一条记录的排序字段值(比如 created_at 和 id)作为下一页起点,避免跳行计算。

典型错误写法:WHERE created_at —— 如果同一秒有多条记录,会漏或重。

立即学习“Python免费学习笔记(深入)”;

python 查询技能
python 查询技能

查询客流数据,输出JSON格式,可直接导入Bitable等可视化工具

下载
  • 必须组合唯一性字段:例如 WHERE (created_at, id) (降序时用 )
  • 排序字段顺序必须和 WHERE 中一致,且所有字段都需有联合索引,例如 INDEX(created_at, id)
  • 游标值要 Base64 编码后传给前端(避免 JSON 中时间格式歧义或特殊字符问题),后端解码后直接拼进 SQL
  • 首次请求没有游标?用 WHERE (created_at, id) 这类兜底逻辑,而非 <code>IS NOT NULL

Django/Flask 里怎么封装游标分页逻辑

别在视图里手拼 SQL —— 容易漏索引、错方向、编码失败。封装成可复用的查询构造器更稳。

关键点不是“怎么调用”,而是“怎么保证生成的 SQL 能走索引”。比如 Django 的 filter() 链式调用若混入 __lt 和 __gt,可能被 ORM 拆成多个 WHERE 子句,破坏联合索引使用。

  • Django 推荐用 extra() 或原生 SQL:例如 .extra(where=["(created_at, id)
  • Flask + SQLAlchemy 可用 text():例如 session.execute(text("WHERE (created_at, id)
  • 永远校验游标参数类型:cursor_time 必须是 datetime,cursor_id 必须是 int,非法输入直接 400,不进 DB
  • 返回结果里带上新游标:取最后一条的 (created_at, id),Base64 编码后塞进响应的 next_cursor 字段

什么时候该坚持用偏移量,而不是强行上游标

游标不是银弹。有些业务场景硬套游标反而增加复杂度甚至出错。

典型翻车现场:用户按“价格从低到高”排序商品,但价格重复率极高(比如 99% 商品都是 ¥99)。这时用 (price, id) 当游标,一页可能只返回 1 条,体验极差。

  • 适合偏移量的场景:排序字段基数高(如时间、UUID)、前端明确禁止跳页、数据实时性要求低(可接受缓存 COUNT)
  • 混合策略可行:对“最新动态”用游标,对“按销量排序”用带缓存的偏移量(COUNT 结果缓存 5 分钟)
  • 千万别把游标当成“高级 OFFSET”来用——它本质是“流式读取”,不支持随机跳页,也不适合做后台导出(导出需要全量)

游标分页真正的坑不在实现,而在边界:时间字段精度(毫秒还是秒)、时区处理(DB 存 UTC,前端传东八区时间)、以及当排序字段被更新时(比如订单状态变更导致 updated_at 改写),游标是否还稳定。这些细节不压测根本看不出来。

热门AI工具

更多
LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2383

2023.08.11

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

6210

2024.03.19

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

5586

2024.03.19

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1691

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4304

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1689

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

25057

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3067

2023.08.04

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn