讲师中心 微信公众号
AI工具推荐 视频效率加速

Java Iterator 怎么在批处理分页查询中通过迭代器思想封装游标遍历逻辑

落伟大大_5154

落伟大大_5154

发布时间:2026-08-26 15:39:35

|

546人浏览过

|

来源于php中文网

原创

Java Iterator 本身不支持数据库游标分页,但可借鉴其懒加载、单向移动思想封装自定义分页迭代器,通过状态管理(offset/ cursor)、缓存批次数据、按需查询实现内存友好、可中断的分页遍历。

java iterator 怎么在批处理分页查询中通过迭代器思想封装游标遍历逻辑

Java 中的 Iterator 本身不直接支持数据库游标分页,但它提供了一种抽象遍历行为的范式。在批处理分页查询中,我们不是用原生 Iterator 包装 ResultSet,而是借鉴其“一次只取一个、懒加载、单向移动”的思想,封装一个自定义迭代器来管理游标(如 MySQL 的 OFFSET/LIMIT、PostgreSQL 的 cursor、或 MyBatis 的 RowBounds),实现内存友好、可中断、可复用的分页遍历逻辑。

核心思路:用 Iterator 封装分页请求的“下一页”动作

把每次分页查询(如查第 n 页 100 条)看作一次“next()”调用,将页码/游标位置、查询参数、当前批次数据缓存作为状态封装在迭代器内部。外部只需 while(it.hasNext()) { it.next() },无需感知 SQL 或分页策略。

  • 迭代器内部维护当前偏移量(offset)或游标值(cursorId),每次 next() 触发一次 DB 查询
  • hasNext() 不预查全量,而是尝试查下一页第一条(如 LIMIT 1),判断是否存在
  • 查询结果缓存在迭代器内(如 List<T>),next() 从缓存取;缓存空了才发起新查询
  • 支持中断(调用 remove() 可选,一般不实现;或提供 close() 清理资源)

示例:基于 OFFSET/LIMIT 的分页迭代器(适用于 MySQL/Oracle 等)

以下是一个轻量级实现,以 User 实体和 JdbcTemplate 为例:

deep-java-review
deep-java-review

Java项目代码review工具。分析Git变更+完整调用链路上下文,推断业务需求,进行多维度评分和分类汇总,生成完整PRD文档。包含细粒度Java代码审查清单(Null安全、异常处理、Streams、并发、equals/hashCode、资源管理、API设计、性能、MyBatis/ORM、事务边界、SQL/DD...

下载
public class PagedIterator<T> implements Iterator<List<T>> {
    private final JdbcTemplate jdbcTemplate;
    private final String sql;
    private final RowMapper<T> rowMapper;
    private final int pageSize;
    private int offset = 0;
    private List<T> currentBatch = Collections.emptyList();

    public PagedIterator(JdbcTemplate jdbcTemplate, String sql, RowMapper<T> rowMapper, int pageSize) {
        this.jdbcTemplate = jdbcTemplate;
        this.sql = sql;
        this.rowMapper = rowMapper;
        this.pageSize = pageSize;
    }

    @Override
    public boolean hasNext() {
        if (!currentBatch.isEmpty()) return true;
        // 查下一页是否存在(仅查 1 条)
        String checkSql = "SELECT 1 FROM (" + sql + ") t LIMIT 1 OFFSET ?";
        List<?> exists = jdbcTemplate.query(checkSql, ps -> ps.setInt(1, offset), (rs, i) -> 1);
        return !exists.isEmpty();
    }

    @Override
    public List<T> next() {
        if (currentBatch.isEmpty()) {
            String pageSql = sql + " LIMIT ? OFFSET ?";
            currentBatch = jdbcTemplate.query(pageSql,
                ps -> {
                    ps.setInt(1, pageSize);
                    ps.setInt(2, offset);
                },
                rowMapper);
            offset += pageSize;
        }
        List<T> result = currentBatch;
        currentBatch = Collections.emptyList();
        return result;
    }
}

使用方式:

立即学习“Java免费学习笔记(深入)”;

String sql = "SELECT id, name FROM user WHERE status = ?";
PagedIterator<User> it = new PagedIterator<>(
    jdbcTemplate,
    sql,
    (rs, i) -> new User(rs.getLong("id"), rs.getString("name")),
    100
);

while (it.hasNext()) {
    List<User> batch = it.next(); // 每次返回一页数据
    processBatch(batch);
}

进阶:基于服务端游标(Server-Side Cursor)的真正流式迭代器

对于超大数据集(如千万级),OFFSET 会变慢。此时应切换为数据库原生游标(如 PostgreSQL 的 DECLARE / FETCH,MySQL 8.0+ 的 WITH CURSOR,或 JDBC 的 setFetchSize(Integer.MIN_VALUE) 启用流式读取)。

  • JDBC 层:用 Statement.setFetchSize(Integer.MIN_VALUE) + ResultSet 迭代,配合 Iterator<T> 包装每行
  • 应用层:封装成 CursorIterator<T>,内部持有未关闭的 ResultSet,next() 调用 rs.next() 并映射
  • 必须显式 close()(建议实现 AutoCloseable),避免连接泄漏
  • 不可重复遍历,不支持随机跳页,但内存恒定 O(1)

注意事项与最佳实践

  • 避免在 hasNext() 中执行完整分页查询(如查全部 100 条再判断是否为空),这会浪费带宽和性能
  • 排序字段必须有索引,否则分页(尤其 OFFSET)会全表扫描
  • 若业务允许,优先用“基于游标的分页”(cursor-based pagination),即用上一页最后一条记录的 ID/时间戳作为下一页起点,比 OFFSET 更稳定高效
  • 结合 Spring Batch 的 ItemReader<T> 可进一步标准化,它底层就借鉴了类似迭代器的设计
  • 线程不安全:该迭代器实例不应被多个线程共享

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

9237

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

6402

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

5732

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1024

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

848

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

1216

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2429

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

19791

2023.08.03

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

160

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn