Spring Batch 默认在启用 fault-tolerant 时会对失败项自动重试，若在 Reader/Processor/Writer 中手动捕获异常并写入错误文件，会导致同一错误记录被多次写入；正确做法是使用 SkipListener 统一处理跳过事件，确保每条异常记录仅写入一次。
spring batch 默认在启用 fault-tolerant 时会对失败项自动重试，若在 reader/processor/writer 中手动捕获异常并写入错误文件，会导致同一错误记录被多次写入；正确做法是使用 `skiplistener` 统一处理跳过事件，确保每条异常记录仅写入一次。
在 Spring Batch 中，当配置 .faultTolerant().skipPolicy(...) 后，框架会在处理某条记录抛出可跳过异常时，先重试（默认 3 次），失败后才执行跳过逻辑。但关键在于：跳过（skip）本身是一次性事件，而重试（retry）是独立于 skip 的前置行为。如果你在 ItemReader 或 ItemProcessor 中用 try-catch + FileOutputStream 手动写错误日志，由于重试机制会多次调用该组件，就会导致同一条错误记录被反复写入——这正是你看到“1 条错误输入 → 2 条重复错误输出”的根本原因。
✅ 正确解法：将错误记录写入逻辑完全委托给 SkipListener，它由 Spring Batch 在确认跳过该条目后仅触发一次，严格保证幂等性。
以下为推荐实现方式：
1. 定义线程安全的错误文件写入器（推荐使用 BufferedWriter + FileWriter）
@Component
public class ErrorRecordWriter {
private final String errorFilePath = "error_records.log";
public void writeErrorRecord(Object item, Throwable cause) throws IOException {
try (BufferedWriter writer = Files.newBufferedWriter(
Paths.get(errorFilePath), StandardOpenOption.CREATE, StandardOpenOption.APPEND)) {
String line = String.format("[%s] Item: %s | Cause: %s%n",
LocalDateTime.now(), item, cause.toString());
writer.write(line);
}
}
}2. 实现 SkipListener 并注入写入器
@Component
public class CustomSkipListener implements SkipListener<Employee, Employee> {
private final ErrorRecordWriter errorWriter;
public CustomSkipListener(ErrorRecordWriter errorWriter) {
this.errorWriter = errorWriter;
}
@Override
public void onSkipInRead(Throwable throwable) {
// 若 Reader 抛异常被跳过（如解析失败），此处可记录原始输入行（需 Reader 支持获取当前行号/内容）
}
@Override
public void onSkipInProcess(Employee item, Throwable throwable) {
try {
errorWriter.writeErrorRecord(item, throwable);
} catch (IOException e) {
throw new RuntimeException("Failed to write skip record to error file", e);
}
}
@Override
public void onSkipInWrite(Employee item, Throwable throwable) {
try {
errorWriter.writeErrorRecord(item, throwable);
} catch (IOException e) {
throw new RuntimeException("Failed to write skip record to error file", e);
}
}
}3. 在 Step 配置中注册 SkipListener（替代手动 try-catch）
@Bean
public Step mainStep(ItemReader<Employee> reader,
ItemProcessor<Employee, Employee> processor,
ItemWriter<Employee> writer,
CustomSkipListener skipListener) {
return stepBuilderFactory.get("mainStep")
.<Employee, Employee>chunk(2)
.reader(reader)
.processor(processor)
.writer(writer)
.faultTolerant()
.skipPolicy(new AlwaysSkipItemSkipPolicy())
.skipListener(skipListener) // ✅ 关键：注册监听器
.end()
.build();
}⚠️ 重要注意事项：
- 不要在
ItemReader#read()、ItemProcessor#process()或ItemWriter#write()中自行catch Exception并写文件——这会与重试/跳过生命周期耦合，破坏框架语义； -
SkipListener的onSkipInProcess/onSkipInWrite方法每个被跳过的 item 仅调用一次，无论重试多少次； - 若需记录原始文件行内容（如 CSV 解析失败的具体行），应在
ItemReader中通过FlatFileItemReader的getLineCount()或自定义ResourceAwareItemReaderWrapper捕获上下文，并通过ThreadLocal或StepExecution属性传递至SkipListener； - 生产环境建议使用异步日志框架（如 Logback 的
AsyncAppender）或消息队列（如 Kafka）替代直接文件 I/O，避免阻塞批处理流程。
通过以上改造，即使输入文件仅含 1 条非法记录，错误日志中也严格只出现 1 条对应记录，彻底解决重复写入问题，同时符合 Spring Batch 的设计契约与可观测性最佳实践。
