在 Spring Boot 中使用 Kafka 消费者时，通过合理配置 auto-offset-reset 策略、启用自动提交偏移量（或手动提交）、结合消费者组 ID 与幂等性处理，可有效防止应用重启后重复消费已处理消息。
在 spring boot 中使用 kafka 消费者时，通过合理配置 `auto-offset-reset` 策略、启用自动提交偏移量（或手动提交）、结合消费者组 id 与幂等性处理，可有效防止应用重启后重复消费已处理消息。
Kafka 消费者的“重复消费”问题本质是偏移量（offset）管理策略不当导致的。默认情况下，Spring Boot Kafka 使用 ConcurrentKafkaListenerContainerFactory，其底层消费者会将消费进度（即每个分区的 offset）提交到 Kafka 的 __consumer_offsets 主题中——但该行为仅在启用自动提交且消费成功后才发生。
你当前的配置中未显式指定 enable-auto-commit 和 auto-commit-interval，因此将采用 Spring Kafka 的默认值：enable-auto-commit: true（Kafka 客户端默认），auto-commit-interval: 5000ms。这意味着：
✅ 若消费者正常运行并成功处理消息，offset 会周期性提交；
⚠️ 若消费者在处理完消息但尚未提交 offset 时异常退出（如 Ctrl+C、OOM 或进程 kill），重启后将依据 auto-offset-reset 策略决定从哪开始拉取消息。
你当前配置为：
spring:
kafka:
consumer:
auto-offset-reset: earliest # ← 关键风险点！
group-id: "myGroup"auto-offset-reset: earliest 表示：当消费者组没有有效提交的 offset 时（例如首次启动，或 offset 过期被清理），从分区最早的消息开始读取。这正是导致“重启后重复消费”的直接原因——即使之前已消费过 1000 条，只要 offset 未成功提交或已过期，下次启动就会重放全部历史消息。
✅ 正确做法是：依赖 Kafka 的 offset 提交机制，而非重置策略。应将 auto-offset-reset 改为 latest（仅用于首次启动无 offset 场景）或更稳妥的 none，同时确保 offset 能可靠提交：
spring:
kafka:
consumer:
bootstrap-servers: localhost:9092
group-id: "myGroup"
auto-offset-reset: none # ← 首次无 offset 时抛异常，强制关注初始化逻辑
enable-auto-commit: true
auto-commit-interval: 1000 # 缩短提交间隔，降低丢失风险
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer? 更推荐生产环境使用 手动提交 + 同步处理，确保“业务入库完成”与“offset 提交”形成原子性（至少是强顺序）：
@KafkaListener(topics = "user", groupId = "myGroup") public void listen(String message, Acknowledgment ack) { try { // 1. 执行数据库保存（含主键/唯一约束防重） userRepository.save(parseUser(message)); // 2. 显式提交 offset（仅当 DB 操作成功后） ack.acknowledge(); } catch (Exception e) { log.error("Failed to process message: {}", message, e); throw e; // 触发重试或进入 DLQ（需额外配置） } }
? 关键注意事项：
- ✅
group-id必须保持不变：Kafka 以此为单位管理 offset，更换 group-id 等价于全新消费者，必然从auto-offset-reset指定位置开始； - ✅ 数据库层添加唯一约束（如
message_id或event_timestamp + source_id联合唯一）是最后防线，实现业务幂等； - ⚠️
auto-offset-reset: earliest仅适用于“必须不丢数据”的初次同步场景，绝不应用于常规重启恢复； - ? 若需精确一次（exactly-once）语义，需启用 Kafka 的事务支持（
spring.kafka.producer.transaction-id-prefix+@Transactional），但会带来性能开销。
总结：避免重复消费 = 可靠 offset 提交 + 幂等业务设计。不要依赖 earliest 重放，而要让 Kafka 记住你“已经看到哪里了”。
