Oracle分页读取必须用JdbcPagingItemReader而非JdbcCursorItemReader,因其不支持标准LIMIT/OFFSET且游标易超时或报ORA-01002;后者基于排序+主键分页,支持断点续跑,需配置pageSize=500、显式select/from子句、带索引的sortKeys、参数化where条件,并在必要时手写ROW_NUMBER()分页SQL以兼容旧版本。

Oracle 分页读取必须用 JdbcPagingItemReader,别碰 JdbcCursorItemReader
Oracle 本身不支持标准 SQL 的 LIMIT/OFFSET,JdbcCursorItemReader 在长事务中容易因游标超时、连接池耗尽或 ORA-01002(fetch out of sequence)失败;而 JdbcPagingItemReader 基于排序+主键/时间戳分页,能稳定推进、支持断点续跑。
关键配置要点:
-
setPageSize(500):500 是 Oracle 场景下的安全起点,太高易触发 PGA 内存压力,太低则网络往返过多 -
setSelectClause("SELECT *")和setFromClause("FROM table_a")必须显式指定,不能依赖默认构造 -
setSortKeys(Map.of("create_time", Order.ASCENDING)):排序字段必须有索引,且类型为DATE或NUMBER(避免VARCHAR2时间字符串) - WHERE 条件写在
setWhereClause("status = ? AND create_time >= ?"),参数通过setParameterValues注入,防止硬编码 SQL
分页 SQL 必须手写 ORDER BY + ROW_NUMBER() OVER 替代方案
当业务要求按非索引字段排序,或需动态过滤(如多租户 tenant_id),JdbcPagingItemReader 默认的 ORDER BY ... OFFSET ... ROWS FETCH NEXT ... ROWS ONLY 在 Oracle 11g/12c 早期版本不支持,会报 ORA-00933: SQL command not properly ended。
此时应切换为自定义 SqlPagingQueryProviderFactoryBean,注入手写分页 SQL:
SELECT * FROM ( SELECT t.*, ROW_NUMBER() OVER (ORDER BY create_time, id) AS rn FROM table_a t WHERE status = ? AND tenant_id = ? ) WHERE rn BETWEEN ? AND ?
注意:
- 外层
WHERE rn BETWEEN的起始值需由框架计算,不能写死;SqlPagingQueryProviderFactoryBean会自动替换?:start和?:end占位符 -
ROW_NUMBER()的ORDER BY必须包含唯一列(如id),否则同时间戳下分页结果不可靠 - 该 SQL 在 Oracle 11gR2+ 全版本兼容,但执行计划需确认走索引,避免全表扫描+临时排序
setFetchSize(500) 和 setPageSize(500) 不是同一回事
新手常混淆二者:前者是 JDBC 层每次从 Oracle 网络包里拉多少行进 JVM 内存(影响 GC 和堆压),后者是 Spring Batch 的 Chunk 大小(影响事务粒度和重试范围)。
Oracle 场景下的合理组合:
-
setFetchSize(1000):减少网络 round-trip,但不要超过 5000,否则单次 ResultSet 加载过大,易 OOM -
setPageSize(200):Chunk 太大会拖慢故障恢复(重跑 2000 条 vs 200 条),太小则事务开销占比过高 - 若数据库侧已开启
ARRAYSIZE 500(SQL*Plus 级别),JDBCfetchSize应与之对齐,避免“小包套大包”浪费
高并发分片时,DateRangePartitioner 的日期边界必须用 TRUNC(create_time)
按天分片处理 3000 万级订单数据时,若直接用 create_time >= ? AND create_time ,Oracle 可能因字段含毫秒/微秒、NLS_DATE_FORMAT 不一致、或绑定变量类型为 <code>TIMESTAMP 导致分区漏读或重复读。
正确做法是统一归一到日期精度:
- Partitioner 中生成的参数传入
TRUNC(create_time) = TRUNC(?)或create_time >= TRUNC(?) AND create_time - 确保数据库字段
create_time上建的是函数索引:CREATE INDEX idx_create_date ON table_a (TRUNC(create_time)) - Java 端传参用
LocalDate而非Instant或Timestamp,避免时区转换引入偏差
这个细节在跨时区部署或 Oracle NLS 设置不统一的生产环境里,是导致“明明跑了却查不到数据”类问题的高频根因。


















