讲师中心 微信公众号
AI工具推荐 视频效率加速

Spring Batch如何高效处理千万级Oracle数据迁移

云浩大大_4146

云浩大大_4146

发布时间:2026-10-06 09:41:01

|

704人浏览过

|

来源于php中文网

原创

千万级Oracle迁移卡在JdbcCursorItemReader上,主因是默认未设fetchSize导致驱动一次性拉取全量数据引发OOM;须显式设fetchSize为500–2000、关闭自动提交、限定查询字段并排除CLOB/BLOB。

spring batch如何高效处理千万级oracle数据迁移

千万级Oracle迁移卡在JdbcCursorItemReader上?

直接用默认配置的 JdbcCursorItemReader 读取千万行 Oracle 表,大概率会 OOM 或连接超时。Oracle 的游标(尤其是 REF CURSOR)在 JDBC 驱动层默认启用缓存、不支持真正流式读取,加上 Spring Batch 默认未设 fetchSize,驱动会一次性把结果集全拉进内存。

必须显式控制底层 JDBC 行为:

  • fetchSize 设为 500–2000(实测 Oracle 19c + ojdbc8 下 1000 较稳),过大会占内存,过小会增加网络往返
  • 关闭自动提交:setAutoCommit(false)(由 Spring Batch 事务管理接管,但驱动层需配合)
  • 使用 ResultSet.TYPE_FORWARD_ONLY 和 ResultSet.CONCUR_READ_ONLY,避免驱动偷偷缓存滚动结果集
  • SQL 中避免 SELECT *,只查迁移所需字段;若含 CLOB/BLOB,务必单独处理或排除——它们会触发额外 LOB 定位器加载

写入端用JdbcBatchItemWriter还是自定义?

千万级写入,JdbcBatchItemWriter 是起点,但开箱即用容易翻车:它默认每 chunk 提交一次事务,而 Oracle 对高频小事务极其敏感(redo log 刷盘压力大、UNDO 段争用)。

关键调整点:

  • chunk size 不要盲目调大——设为 5000~10000 是平衡点;再大可能触发 Oracle 单次 DML 的 bind 变量上限(如 ORA-01000: maximum open cursors exceeded)
  • 必须开启 useSharedExtendedAttributes=true(ojdbc8+),否则批量绑定参数时可能报 ORA-01795
  • 禁用 isUseColumnMetaData=false,跳过驱动自动查数据字典(千万级表元数据查询本身就很慢)
  • 如果目标表有大量索引/约束/触发器,迁移前临时 disable,结束后 rebuild —— JdbcBatchItemWriter 无法绕过这些开销

如何避免JobRepository成瓶颈?

默认基于 Oracle 的 JdbcJobRepository 在千万级任务中,每次 chunk 提交都要更新 BATCH_STEP_EXECUTION 和 BATCH_JOB_EXECUTION 表,尤其 READ_COUNT/WRITE_COUNT 字段高频 update,极易引发行锁和日志风暴。

QuantOracle
QuantOracle

63个确定性量化金融计算器 + 10个通过MCP的复合工作流。期权定价、Greeks、奇异衍生品、风险指标、投资组合优化……

下载

务实解法不是“优化 SQL”,而是降频记录:

  • 重写 StepExecutionListener,只在 step 开始、结束、失败时更新计数,中间 chunk 跳过 updateStepExecution
  • 将 JobRepository 切到内存实现(MapJobRepositoryFactoryBean)——仅限单机、非高可用场景,但对纯迁移类一次性任务足够安全
  • 若必须持久化,把 BATCH_* 表迁到独立小库(如 H2 内存库或专用轻量 PG),与业务 Oracle 物理隔离

分片(Partitioning)真能提速?什么情况下反拖后腿?

分片不是银弹。对 Oracle 单表千万行迁移,只有当满足「可均匀切分 + 切分键高基数 + 目标表无全局唯一约束冲突」时才值得上。

典型有效分片方式:

  • 按主键范围分片:WHERE id BETWEEN :min AND :max,需提前统计 min/max 并等宽划分
  • 按时间分区字段分片(如 create_time >= ? AND create_time < ?),前提是表已按时间分区且统计信息准确

踩坑警告:

  • 用 MOD(id, N) 分片?Oracle 会全表扫描+计算,比不分片还慢
  • 分片后每个 worker 连接各自查源表?没共享连接池的话,N 个分片 = N 倍数据库连接消耗,可能直接打满 Oracle 的 processes 参数
  • 目标表有自增主键或全局唯一索引?分片并发写入必然冲突,必须改用 UUID 或预分配 ID 段

最常被忽略的一点:分片元数据(PartitionHandler)本身依赖 JobRepository,如果 JobRepository 已是瓶颈,加了分片反而放大问题。

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

4616

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1229

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

223

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

466

2026.01.05

oracle清空表数据
oracle清空表数据

当表中的数据不需要时,则应该删除该数据并释放所占用的空间。本专题为大家提供oracle清空表数据的相关文章,帮助大家解决该问题。

901

2023.08.16

Oracle中declare的使用
Oracle中declare的使用

Oracle DECLARE语句是PL/SQL编程语言中用于声明变量、常量、游标或异常的关键字。它的主要作用是在程序中定义这些对象,以便在后续的代码中使用。DECLARE语句的语法简单明了,可以根据需要声明多个对象。通过使用这些声明的对象,可以进行各种操作,如计算、查询数据库、处理异常等 。

2553

2023.09.15

oracle怎么分页
oracle怎么分页

实现分页的步骤:1、使用ROWNUM进行分页查询;2、在执行查询之前进行设置分页参数;3、使用"COUNT(*)"函数来获取总行数,并使用"CEIL"函数来向上取整计算总页数;4、在外部查询中使用"WHERE"子句来筛选出特定的行号范围,以实现分页查询。想了解更多oracle怎么分页的文章,可以来阅读本专题先的文章。

2570

2023.09.18

Oracle查看表操作历史记录
Oracle查看表操作历史记录

查看操作历史记录的方法:1、使用Oracle内置的审计功能,可以记录数据库中发生的各种操作,包括登录、DDL语句、DML语句等;2、使用Oracle日志文件,其中包含了数据库中发生的各种操作,可以通过查看日志文件来获取操作历史记录;3、使用Oracle的Flashback功能,可以查看数据库在某个时间点的操作历史记录;4、使用第三方工具等。本专题还提供其他查看表操作的文章,大家可以免费阅读。

1469

2023.09.19

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn