讲师中心 微信公众号
AI工具推荐 视频效率加速

CI框架查询大数据量数据库分页优化解决方案

云萱姑娘_4040

云萱姑娘_4040

发布时间:2026-08-17 10:15:42

|

680人浏览过

|

来源于php中文网

原创

CI框架大数据分页优化需禁用查询日志、改用游标分页、ID分批缓存及前端约束页码;禁用$this->db->save_queries、基于主键游标查询、Redis缓存ID列表、限制page≤200并启用懒加载。

ci框架查询大数据量数据库分页优化解决方案

CI框架处理大数据量分页时,内存暴涨、响应缓慢、甚至脚本崩溃,根本原因不在数据本身,而在框架默认行为与查询方式的叠加效应。关键要切断“无用记录”和“低效扫描”的双重开销。

关闭数据库查询日志记录

CI默认开启 $this->db->save_queries,每条SQL及其执行时间都被缓存到内存中。百万级循环分页时,这些日志会吃掉数百MB内存,且完全无业务价值。

  • 在分页逻辑开始前加一行:$this->db->save_queries = FALSE;
  • 如需临时调试,可仅在开发环境开启,生产环境必须禁用
  • 该设置不影响SQL执行,只停止日志收集,零风险、立竿见影

改用游标分页(推荐用于后端API)

传统 LIMIT offset, size 在偏移量大时性能断崖式下跌,因为MySQL仍要扫描跳过的所有行。游标分页基于上一页最后一条记录的主键值推进,避免全表扫描。

人工智能数字技术机器人全息大脑大数据分析矢量素材(EPS)
人工智能数字技术机器人全息大脑大数据分析矢量素材(EPS)

这是一款人工智能数字技术机器人全息大脑大数据分析矢量素材,格式为 EPS,含 JPG 预览图。

下载
  • 首次请求:SELECT * FROM orders WHERE status = 1 ORDER BY id ASC LIMIT 50
  • 后续请求:SELECT * FROM orders WHERE status = 1 AND id > 123456 ORDER BY id ASC LIMIT 50
  • CI中可封装为方法:$this->db->where('id >', $last_id)->order_by('id')->limit(50)
  • 要求:排序字段必须有索引、不可为空、全局唯一(主键最佳)

分批处理 + 手动分页缓存

对导出、后台报表等非实时场景,不建议每次翻页都查库。可先将符合条件的数据ID批量取出,存入Redis或临时表,再按ID分页读取详情。

  • 第一步:查出全部匹配的主键ID(例如 SELECT id FROM logs WHERE created_at > '2025-01-01'),用 batch_insert 或 Redis List 存储
  • 第二步:按页取ID段,再用 WHERE id IN (...) 查详情(注意IN数量限制,单次不超过500)
  • 优势:主键查询极快;ID列表可设置过期时间;支持并发读取不同页

前端配合:禁用深度跳页 + 启用懒加载

用户翻到第1000页毫无意义,反而拖垮数据库。应在业务层主动约束,同时降低首屏压力。

  • CI控制器中校验:if ($page > 200) { show_error('超出允许页码范围'); }
  • 列表页启用滚动懒加载,初始只加载前20条,滚动到底部再通过AJAX拉取下一批(带游标参数)
  • 搜索框强制添加时间范围、状态等过滤条件,避免全表扫描

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

3956

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1189

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

203

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

426

2026.01.05

Java 单元测试
Java 单元测试

本专题聚焦 Java 在软件测试与持续集成流程中的实战应用,系统讲解 JUnit 单元测试框架、Mock 数据、集成测试、代码覆盖率分析、Maven 测试配置、CI/CD 流水线搭建(Jenkins、GitHub Actions)等关键内容。通过实战案例(如企业级项目自动化测试、持续交付流程搭建),帮助学习者掌握 Java 项目质量保障与自动化交付的完整体系。

926

2025.10.24

PHP CodeIgniter框架
PHP CodeIgniter框架

本专题专注于 PHP 轻量级框架 CodeIgniter 的学习与应用,系统讲解 MVC 模型、路由与控制器、数据库操作、表单验证、安全机制以及 REST API 开发。通过博客系统、内容管理平台和小型电商等实战项目,帮助学员快速掌握 CodeIgniter 的开发方法与实践技能。

3239

2025.08.28

NumPy数组创建索引切片与数据选择
NumPy数组创建索引切片与数据选择

本专题整理 NumPy 数组创建、索引、切片与数据选择相关教程,覆盖 np.array、zeros/ones、多维数组形状、基础切片、花式索引、布尔索引、条件筛选、视图与副本等常用场景,帮助读者系统掌握 ndarray 数据构造与高效提取方法。

0

2026.09.21

Aionclaw智能助手介绍
Aionclaw智能助手介绍

本专题汇总了AionClaw(AI龙虾助手)的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体,能直接在电脑上读写文件、运行脚本、操作浏览器,自动交付Word、PPT、Excel等成品。

20

2026.09.20

AionClaw AI智能体与电脑自动化任务执行功能使用教程
AionClaw AI智能体与电脑自动化任务执行功能使用教程

AionClaw专题整理AI智能体与电脑自动化相关功能使用教程,涵盖安装部署、AI任务执行、Skills技能、文件处理、浏览器控制、电脑操作、持久记忆、聊天工具连接以及办公、编程和内容创作等功能,帮助用户快速掌握AionClaw的实际使用方法。

0

2026.09.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn