本文旨在解决从数据库读取大量数据时遇到的JVM堆内存溢出问题。通过分析问题代码，我们将提供一种使用分页查询（LIMIT和OFFSET）的解决方案，以及相应的代码示例和注意事项，帮助开发者避免一次性加载大量数据，从而有效控制内存使用，提升系统稳定性。
在微服务架构中，处理大量数据迁移或归档任务时，一次性加载百万级甚至更多的数据记录很容易导致JVM堆内存溢出（Resource Exhaustion Event: the JVM was unable to allocate memory from the heap）。直接增加应用内存虽然可以暂时解决问题，但并非长久之计。更优的方案是采用分页查询，分批次处理数据，从而降低单次操作的内存消耗。
分页查询：LIMIT 和 OFFSET 的妙用
核心思想是将原本一次性读取所有数据的操作，分解为多次小批量读取。在SQL查询中，LIMIT 用于限制返回的记录数量，OFFSET 用于指定从哪条记录开始返回。
以下是一个简化的SQL示例：
SELECT * FROM your_table WHERE your_condition ORDER BY your_order_column LIMIT batch_size OFFSET offset_value;
- your_table: 你要查询的表名。
- your_condition: 查询条件，例如 update_dts <= ?。
- your_order_column: 用于排序的列，确保每次获取的数据都是连续的，避免重复读取。推荐使用自增主键ID，或者能确保数据顺序的列。
- batch_size: 每次读取的记录数，例如 1000。
- offset_value: 偏移量，表示从第几条记录开始读取。
Java代码实现分页读取
结合上述SQL，我们可以将原有的archiveTableRecords方法进行改造，实现分页读取：
@Value("${batch-size}")
private int batchSize;
public void archiveTableRecords(JdbcTemplate sourceDbTemplate, JdbcTemplate targetDbTemplate,
ArchiveConfigDTO archiveObj) {
try {
String sourceTable = archiveObj.getSourceTable();
String archive_months = archiveObj.getArchiveCriteriaMonths();
String compareDate1 = getCSTDateNew(archive_months);
String primaryKeyColumn = archiveObj.getPrimaryKeyColumn();
logger.info("Archive criteria date: {}", compareDate1);
int offset = 0;
List<Map<String, Object>> sourceRecords;
do {
// 构建分页查询SQL
String sql = buildSQLQueryToFetchSourceRecords(sourceTable, compareDate1, batchSize, offset, primaryKeyColumn);
sourceRecords = sourceDbTemplate.queryForList(sql);
int sourceRecordsSize = sourceRecords.size();
logger.info("Fetched {} {} record(s) from offset {}", sourceRecordsSize, sourceTable, offset);
if (sourceRecordsSize > 0) {
List<Object> primaryKeyValueList = new ArrayList<>();
int recordsInserted = copySourceRecords(targetDbTemplate, archiveObj.getTargetTable(),
primaryKeyColumn, sourceRecords, primaryKeyValueList);
if (recordsInserted > 0) {
deleteSourceRecords(sourceDbTemplate, sourceTable, primaryKeyColumn,
primaryKeyValueList);
}
offset += sourceRecordsSize; // 更新偏移量
}
} while (!sourceRecords.isEmpty()); // 当没有更多数据时结束循环
} catch (Exception e) {
logger.error("Exception in archiveTableRecords: {} {}", e.getMessage(), e);
}
}
public String buildSQLQueryToFetchSourceRecords(String sourceTable, String compareDate, int batchSize, int offset, String primaryKeyColumn) {
StringBuilder sb = new StringBuilder("SELECT * FROM " + sourceTable + " where update_dts <= ? ORDER BY " + primaryKeyColumn + " LIMIT " + batchSize + " OFFSET " + offset);
return sb.toString();
}代码解释：
- batchSize: 通过@Value注解从配置文件中读取每次读取的记录数。建议根据实际情况调整。
- offset: 记录当前已经读取的记录数，用于计算下一次读取的偏移量。
- do...while 循环: 循环读取数据，直到没有更多数据为止。
- buildSQLQueryToFetchSourceRecords: 构建带分页参数的SQL查询语句。
- offset += sourceRecordsSize: 在每次成功读取一批数据后，更新偏移量。
注意事项
- ORDER BY 子句: 务必包含ORDER BY子句，并选择合适的排序列，例如自增主键，确保每次读取的数据都是连续的，避免重复读取或遗漏数据。
- batchSize 调整: batchSize 的大小会影响内存使用和性能。如果内存仍然溢出，可以减小 batchSize。如果性能较差，可以适当增加 batchSize。
- 事务控制: 如果需要保证数据一致性，请确保将整个分页处理过程放在一个事务中。
- 异常处理: 在循环中处理异常，例如数据插入失败等，避免整个流程中断。
总结
通过使用分页查询，我们可以有效地避免一次性加载大量数据导致的JVM堆内存溢出问题。这种方法不仅降低了内存消耗，还提高了系统的稳定性和可扩展性。在实际应用中，请根据数据量和系统资源合理调整batchSize，并结合事务控制和异常处理，确保数据迁移或归档的正确性和完整性。
