讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

Spring Batch如何高效处理Oracle海量数据的分批读取?

千明酱_4080

千明酱_4080

发布时间:2026-11-17 12:53:19

|

897人浏览过

|

来源于php中文网

原创

Oracle分页读取必须用JdbcPagingItemReader而非JdbcCursorItemReader,因其不支持标准LIMIT/OFFSET且游标易超时或报ORA-01002;后者基于排序+主键分页,支持断点续跑,需配置pageSize=500、显式select/from子句、带索引的sortKeys、参数化where条件,并在必要时手写ROW_NUMBER()分页SQL以兼容旧版本。

spring batch如何高效处理oracle海量数据的分批读取?

Oracle 分页读取必须用 JdbcPagingItemReader,别碰 JdbcCursorItemReader

Oracle 本身不支持标准 SQL 的 LIMIT/OFFSET,JdbcCursorItemReader 在长事务中容易因游标超时、连接池耗尽或 ORA-01002(fetch out of sequence)失败;而 JdbcPagingItemReader 基于排序+主键/时间戳分页,能稳定推进、支持断点续跑。

关键配置要点:

  • setPageSize(500):500 是 Oracle 场景下的安全起点,太高易触发 PGA 内存压力,太低则网络往返过多
  • setSelectClause("SELECT *") 和 setFromClause("FROM table_a") 必须显式指定,不能依赖默认构造
  • setSortKeys(Map.of("create_time", Order.ASCENDING)):排序字段必须有索引,且类型为 DATE 或 NUMBER(避免 VARCHAR2 时间字符串)
  • WHERE 条件写在 setWhereClause("status = ? AND create_time >= ?"),参数通过 setParameterValues 注入,防止硬编码 SQL

分页 SQL 必须手写 ORDER BY + ROW_NUMBER() OVER 替代方案

当业务要求按非索引字段排序,或需动态过滤(如多租户 tenant_id),JdbcPagingItemReader 默认的 ORDER BY ... OFFSET ... ROWS FETCH NEXT ... ROWS ONLY 在 Oracle 11g/12c 早期版本不支持,会报 ORA-00933: SQL command not properly ended。

此时应切换为自定义 SqlPagingQueryProviderFactoryBean,注入手写分页 SQL:

SELECT * FROM (
  SELECT t.*, ROW_NUMBER() OVER (ORDER BY create_time, id) AS rn
  FROM table_a t
  WHERE status = ? AND tenant_id = ?
) WHERE rn BETWEEN ? AND ?

注意:

QuantOracle
QuantOracle

63个确定性量化金融计算器 + 10个通过MCP的复合工作流。期权定价、Greeks、奇异衍生品、风险指标、投资组合优化……

下载
  • 外层 WHERE rn BETWEEN 的起始值需由框架计算,不能写死;SqlPagingQueryProviderFactoryBean 会自动替换 ?:start 和 ?:end 占位符
  • ROW_NUMBER() 的 ORDER BY 必须包含唯一列(如 id),否则同时间戳下分页结果不可靠
  • 该 SQL 在 Oracle 11gR2+ 全版本兼容,但执行计划需确认走索引,避免全表扫描+临时排序

setFetchSize(500) 和 setPageSize(500) 不是同一回事

新手常混淆二者:前者是 JDBC 层每次从 Oracle 网络包里拉多少行进 JVM 内存(影响 GC 和堆压),后者是 Spring Batch 的 Chunk 大小(影响事务粒度和重试范围)。

Oracle 场景下的合理组合:

  • setFetchSize(1000):减少网络 round-trip,但不要超过 5000,否则单次 ResultSet 加载过大,易 OOM
  • setPageSize(200):Chunk 太大会拖慢故障恢复(重跑 2000 条 vs 200 条),太小则事务开销占比过高
  • 若数据库侧已开启 ARRAYSIZE 500(SQL*Plus 级别),JDBC fetchSize 应与之对齐,避免“小包套大包”浪费

高并发分片时,DateRangePartitioner 的日期边界必须用 TRUNC(create_time)

按天分片处理 3000 万级订单数据时,若直接用 create_time >= ? AND create_time ,Oracle 可能因字段含毫秒/微秒、NLS_DATE_FORMAT 不一致、或绑定变量类型为 <code>TIMESTAMP 导致分区漏读或重复读。

正确做法是统一归一到日期精度:

  • Partitioner 中生成的参数传入 TRUNC(create_time) = TRUNC(?) 或 create_time >= TRUNC(?) AND create_time
  • 确保数据库字段 create_time 上建的是函数索引:CREATE INDEX idx_create_date ON table_a (TRUNC(create_time))
  • Java 端传参用 LocalDate 而非 Instant 或 Timestamp,避免时区转换引入偏差

这个细节在跨时区部署或 Oracle NLS 设置不统一的生产环境里,是导致“明明跑了却查不到数据”类问题的高频根因。

热门AI工具

更多
小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

6556

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1269

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

243

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

546

2026.01.05

oracle清空表数据
oracle清空表数据

当表中的数据不需要时,则应该删除该数据并释放所占用的空间。本专题为大家提供oracle清空表数据的相关文章,帮助大家解决该问题。

1181

2023.08.16

Oracle中declare的使用
Oracle中declare的使用

Oracle DECLARE语句是PL/SQL编程语言中用于声明变量、常量、游标或异常的关键字。它的主要作用是在程序中定义这些对象,以便在后续的代码中使用。DECLARE语句的语法简单明了,可以根据需要声明多个对象。通过使用这些声明的对象,可以进行各种操作,如计算、查询数据库、处理异常等 。

3533

2023.09.15

oracle怎么分页
oracle怎么分页

实现分页的步骤:1、使用ROWNUM进行分页查询;2、在执行查询之前进行设置分页参数;3、使用"COUNT(*)"函数来获取总行数,并使用"CEIL"函数来向上取整计算总页数;4、在外部查询中使用"WHERE"子句来筛选出特定的行号范围,以实现分页查询。想了解更多oracle怎么分页的文章,可以来阅读本专题先的文章。

3530

2023.09.18

Oracle查看表操作历史记录
Oracle查看表操作历史记录

查看操作历史记录的方法:1、使用Oracle内置的审计功能,可以记录数据库中发生的各种操作,包括登录、DDL语句、DML语句等;2、使用Oracle日志文件,其中包含了数据库中发生的各种操作,可以通过查看日志文件来获取操作历史记录;3、使用Oracle的Flashback功能,可以查看数据库在某个时间点的操作历史记录;4、使用第三方工具等。本专题还提供其他查看表操作的文章,大家可以免费阅读。

2009

2023.09.19

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn