java jdbc 处理批量操作事务数据治理的核心做法是关闭自动提交，手动管理事务边界，并使用 addbatch 与 executebatch 配合 commit 和 rollback。具体而言，在循环中添加 sql 后执行批量提交，若发生异常则回滚所有已添加的操作，确保数据一致性。
JDBC 批量插入如何保证原子性
JDBC 批量插入保证原子性的关键在于将多条语句视为一个整体单元。通过调用 Connection.setAutoCommit(false) 禁用自动提交，随后使用 PreparedStatement.addBatch() 累积操作，最后调用 executeBatch() 一次性发送。如果其中任何一步失败，立即调用 rollback() 撤销所有更改；只有全部成功才调用 commit() 持久化。
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class BatchTransactionExample {
public static void main(String[] args) {
String url = "jdbc:mysql://localhost:3306/test";
String user = "root";
String password = "password";
try (Connection conn = DriverManager.getConnection(url, user, password)) {
// 1. 关闭自动提交
conn.setAutoCommit(false);
String sql = "INSERT INTO users (name, email) VALUES (?, ?)";
try (PreparedStatement pstmt = conn.prepareStatement(sql)) {
// 2. 添加批量数据
for (int i = 0; i < 100; i++) {
pstmt.setString(1, "User" + i);
pstmt.setString(2, "user" + i + "@example.com");
pstmt.addBatch();
}
// 3. 执行批量操作
int[] results = pstmt.executeBatch();
// 4. 提交事务
conn.commit();
System.out.println("Batch insert successful. Rows affected: " + results.length);
} catch (SQLException e) {
// 5. 异常时回滚
conn.rollback();
System.err.println("Batch insert failed, rolled back.");
e.printStackTrace();
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
上述代码中，setAutoCommit(false) 是事务控制的起点。addBatch() 将 SQL 加入队列而不立即执行。executeBatch() 触发实际数据库交互。若抛出 SQLException，rollback() 确保数据库状态不变。预期输出为控制台打印成功信息，数据库中新增 100 条记录；若中途出错，无记录写入。
立即学习“Java免费学习笔记（深入）”；
大批量数据如何处理以避免内存溢出
处理大批量数据避免内存溢出的方法是分批次提交。不要一次性将所有数据加入 addBatch，而是设置一个阈值（如 1000 条），每达到阈值就执行一次 executeBatch 并清空批次，同时可考虑定期提交或保持在一个事务内但分批执行。这样既利用了批量操作的效率，又控制了单次操作的数据量和内存占用。
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class LargeBatchExample {
public static void main(String[] args) {
String url = "jdbc:mysql://localhost:3306/test";
String user = "root";
String password = "password";
int batchSize = 1000;
try (Connection conn = DriverManager.getConnection(url, user, password)) {
conn.setAutoCommit(false);
String sql = "INSERT INTO logs (message, timestamp) VALUES (?, ?)";
try (PreparedStatement pstmt = conn.prepareStatement(sql)) {
for (int i = 0; i < 100000; i++) {
pstmt.setString(1, "Log message " + i);
pstmt.setLong(2, System.currentTimeMillis());
pstmt.addBatch();
// 每1000条执行一次批量提交
if ((i + 1) % batchSize == 0) {
pstmt.executeBatch();
pstmt.clearBatch();
System.out.println("Processed batch up to " + (i + 1));
}
}
// 执行剩余不足一批次的操作
int[] remainingResults = pstmt.executeBatch();
conn.commit();
System.out.println("Total processed: " + (100000 + remainingResults.length));
} catch (SQLException e) {
conn.rollback();
e.printStackTrace();
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
该示例中，batchSize 设为 1000。循环中每满 1000 条调用 executeBatch() 和 clearBatch()。这防止了 PreparedStatement 内部缓冲区无限增长导致 OutOfMemoryError。最终所有数据仍在一个事务中提交（除非中间有显式 commit，此处为简化未分事务提交，但分批执行降低了峰值内存）。预期结果是程序逐步打印处理进度，最终成功插入 100000 条日志记录。
当 executeBatch 返回负数数组时意味着什么
当 executeBatch() 返回的 int[] 中包含负数（特别是 BATCH_UPDATE_FAILED，值为 -3）时，意味着部分或全部更新语句执行失败。JDBC 驱动通常无法确定哪些具体语句失败，因此整个批次的结果数组可能包含 -3。此时应检查 SQLException 的详细信息，并根据业务逻辑决定是重试、跳过还是回滚。这提示开发者需要更精细的错误处理机制，例如逐条执行或使用存储过程来定位失败行。
