讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样在Spring Batch中读取超大Oracle数据集

阿婷君_7509

阿婷君_7509

发布时间:2026-10-19 12:11:22

|

406人浏览过

|

来源于php中文网

原创

JdbcPagingItemReader是Oracle超大数据集的首选读取器,因其分页机制避免内存溢出;而JdbcCursorItemReader易触发OutOfMemoryError。

怎样在spring batch中读取超大oracle数据集

JdbcPagingItemReader 是 Oracle 超大数据集的首选读取器

直接用 JdbcCursorItemReader 读千万级 Oracle 表,大概率触发 java.lang.OutOfMemoryError: Java heap space。它会把整个结果集一次性加载进内存(即使底层 ResultSet 是游标),尤其在 Oracle 中默认不启用流式 fetch,风险更高。而 JdbcPagingItemReader 通过分页 SQL + 显式排序键控制数据边界,每次只拉取一个 page 的数据(如 1000 条),内存占用稳定可控。

关键前提是:必须指定唯一、单调、可索引的排序字段(如主键 ID 或带索引的时间戳 CREATE_TIME)。Oracle 不支持 OFFSET/LIMIT,所以依赖 OraclePagingQueryProvider 生成 ROW_NUMBER() 形式的分页语句。

  • JdbcPagingItemReader 需要 setSortKeys —— 缺失会导致 IllegalArgumentException: Sort keys must be specified
  • Oracle 分页依赖 ROW_NUMBER() OVER (ORDER BY ...),所以排序字段必须有索引,否则分页查询极慢
  • fetchSize 建议设为与 chunk-size 相同(如都设为 1000),避免 JDBC 驱动额外缓冲

配置 OraclePagingQueryProvider 时绕开常见 SQL 陷阱

Oracle 对分页 SQL 语法敏感,OraclePagingQueryProvider 自动生成的语句若没对齐字段别名或嵌套层级,容易报 ORA-00904: "ID" invalid identifier 或 ORA-00979: not a GROUP BY expression。核心是确保 select 子句中所有字段都显式出现在 order by 中,且别名一致。

示例安全写法:

QuantOracle
QuantOracle

63个确定性量化金融计算器 + 10个通过MCP的复合工作流。期权定价、Greeks、奇异衍生品、风险指标、投资组合优化……

下载
OraclePagingQueryProvider queryProvider = new OraclePagingQueryProvider();
queryProvider.setSelectClause("SELECT ID, NAME, EMAIL, STATUS");
queryProvider.setFromClause("FROM CUSTOMER");
queryProvider.setWhereClause("WHERE STATUS = :status");

Map<String, Order> sortKeys = new LinkedHashMap<>();
sortKeys.put("ID", Order.ASCENDING); // 必须与 select 中字段名完全一致
queryProvider.setSortKeys(sortKeys);
  • 避免在 select 中使用 * 或函数表达式(如 UPPER(NAME))作为排序字段,否则 provider 无法正确映射
  • where 条件中的参数要用命名参数(:status),并配合 setParameterValues(Map.of("status", "ACTIVE"))
  • 如果表有复合主键,选其中一个高基数、高选择性的字段做排序键,不要用 (col1, col2) 元组形式

chunk-size 与 fetchSize 不匹配会拖慢吞吐量

chunk-size 控制 Spring Batch 每次提交事务的数据条数;fetchSize 控制 JDBC 每次从 Oracle 网络包里取多少行。两者不一致时,会出现“拉得多、写得少”或“写多次、拉一次”的错配。

比如 chunk-size=100,fetchSize=1000:每轮 writer 只处理 100 条,但 JDBC 已经预取了 1000 条到本地缓存,浪费内存且可能阻塞后续分页查询;反之 chunk-size=1000,fetchSize=100:JDBC 频繁往返数据库,网络开销陡增。

  • 生产环境建议统一设为 500–2000(根据单条记录大小和 GC 压力调整)
  • Oracle 官方驱动(ojdbc8)对 fetchSize > 1000 的支持更稳,低于 100 可能触发隐式批量 fetch
  • 开启 setSaveState(true)(默认值),确保 job 失败重启时能从上一页最后 ID 继续,而不是重头查

大字段(CLOB/BLOB)导致分页性能断崖下跌

Oracle 分页查询若包含未过滤的 CLOB 字段,ROW_NUMBER() 会强制 materialize 整个 LOB 内容,即使你只读前几页。典型表现是第一页耗时几秒,第二页飙升至分钟级。

解决办法只有两个:要么在 select 中排除 CLOB 字段,后续用主键异步补查;要么加 where 条件提前过滤掉含大字段的记录。

  • 错误示范:SELECT ID, NAME, CONTENT_CLOB FROM DOC_TABLE —— 即使只取前 100 行,Oracle 仍可能扫描全部 LOB 段
  • 正确做法:先用轻量查询获取 ID 列表,再用 IN 批量查详情(需注意 IN 参数上限)
  • 如果必须带 CLOB,确保该字段上有函数索引(如 CREATE INDEX idx_doc_status ON DOC_TABLE (STATUS, DBMS_LOB.GETLENGTH(CONTENT_CLOB))),并用 where 限定长度
真正卡住的往往不是配置写法,而是 Oracle 分页背后那个没被声明的隐式全表扫描——它不会报错,只会让 job 在第 10 万条附近突然变慢三倍。每次调优前,先用 EXPLAIN PLAN 看一眼生成的分页 SQL 是否走了索引。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
oracle清空表数据
oracle清空表数据

当表中的数据不需要时,则应该删除该数据并释放所占用的空间。本专题为大家提供oracle清空表数据的相关文章,帮助大家解决该问题。

1001

2023.08.16

Oracle中declare的使用
Oracle中declare的使用

Oracle DECLARE语句是PL/SQL编程语言中用于声明变量、常量、游标或异常的关键字。它的主要作用是在程序中定义这些对象,以便在后续的代码中使用。DECLARE语句的语法简单明了,可以根据需要声明多个对象。通过使用这些声明的对象,可以进行各种操作,如计算、查询数据库、处理异常等 。

2913

2023.09.15

oracle怎么分页
oracle怎么分页

实现分页的步骤:1、使用ROWNUM进行分页查询;2、在执行查询之前进行设置分页参数;3、使用"COUNT(*)"函数来获取总行数,并使用"CEIL"函数来向上取整计算总页数;4、在外部查询中使用"WHERE"子句来筛选出特定的行号范围,以实现分页查询。想了解更多oracle怎么分页的文章,可以来阅读本专题先的文章。

2910

2023.09.18

Oracle查看表操作历史记录
Oracle查看表操作历史记录

查看操作历史记录的方法:1、使用Oracle内置的审计功能,可以记录数据库中发生的各种操作,包括登录、DDL语句、DML语句等;2、使用Oracle日志文件,其中包含了数据库中发生的各种操作,可以通过查看日志文件来获取操作历史记录;3、使用Oracle的Flashback功能,可以查看数据库在某个时间点的操作历史记录;4、使用第三方工具等。本专题还提供其他查看表操作的文章,大家可以免费阅读。

1669

2023.09.19

Oracle中RAC的用法
Oracle中RAC的用法

Oracle中RAC的用法:1、通过在多个服务器上运行数据库实例来提供高可用性;2、允许在需要时增加或减少节点数量;3、通过将工作负载分布到多个节点上来实现负载均衡;4、使用共享存储来实现多个节点之间的数据共享;5、允许多个节点同时处理数据库请求,从而实现并行处理;6、提供了透明故障切换功能;7、使用了一些技术来确保数据的一致性;8、提供了管理工具来简化RAC环境的管理和维护。本专题还提供RAC相关的其他文章,大家可以免费阅读。

2273

2023.09.19

oracle imp
oracle imp

imp是Oracle数据库中的一个命令行工具,用于将导出的数据和对象从一个数据库实例导入到另一个数据库实例。imp命令的一般语法为“imp username/password@connect_string file=file_name [options]”。

3069

2023.09.19

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4549

2023.11.02

oracle通配符有哪些
oracle通配符有哪些

oracle通配符有“%”、“_”、“[]”和“[^]"。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

237

2023.11.08

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn