讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Java中利用并发工具实现数据批处理_BlockingQueue缓冲与定时器结合的批量入库

陌伟姑娘_8451

陌伟姑娘_8451

发布时间:2026-03-11 11:20:27

|

162人浏览过

|

来源于php中文网

原创

BlockingQueue 不能直接配 Timer 做批量入库,因 Timer 单线程执行且异常静默终止,易导致任务积压和 OOM;应改用 ScheduledThreadPoolExecutor,配限容队列与超时 poll 批量取数,并分段提交防错。

如何在java中利用并发工具实现数据批处理_blockingqueue缓冲与定时器结合的批量入库

BlockingQueue 为什么不能直接配 Timer 做批量入库

因为 Timer 的任务执行是单线程的,一旦某个批量入库操作耗时稍长(比如网络抖动、DB 连接池等待),后续所有定时任务会排队阻塞,导致缓冲区持续积压甚至 OOM。更糟的是,Timer 遇到未捕获异常会静默终止,你根本不知道它已经“死”了。

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • 改用 ScheduledThreadPoolExecutor,至少设 corePoolSize=1,避免单点故障;
  • BlockingQueue 别用无界队列(如 LinkedBlockingQueue 不设容量),优先选 ArrayBlockingQueue 并明确指定容量,比如 new ArrayBlockingQueue(1000);
  • 入库前先做「非空+大小判断」,避免提交空集合触发 JDBC 异常;
  • 定时任务里别直接 drainTo 到新 List——它可能返回 0,也可能返回满额,得用循环 + 超时 poll 配合,才能兼顾实时性与吞吐。

怎么安全地从 BlockingQueue 拿一批数据,又不丢不重

关键在「边界控制」:既要防止一次取太多拖慢响应,也要避免取太少放大调度开销。单纯靠 queue.drainTo(list, batchSize) 不可靠——它只保证最多取 batchSize,但不保证一定能取到,尤其在低流量时可能每次只拿到 1 条。

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • 用带超时的 poll() 循环组装批次,例如:
    List<Record> batch = new ArrayList<>();
    long deadline = System.currentTimeMillis() + 100; // 最多等 100ms
    while (batch.size() < 100 && System.currentTimeMillis() < deadline) {
        Record r = queue.poll(10, TimeUnit.MILLISECONDS);
        if (r != null) batch.add(r);
    }
  • 如果业务允许微小延迟,可加一个「最小等待时间」兜底,比如强制等够 50ms 再发,减少小包频次;
  • 千万别在循环里调 queue.size() 判断是否为空——它不是原子操作,且对 ConcurrentLinkedQueue 这类无锁队列成本高、不准。

批量入库时 PreparedStatement.executeBatch() 报错 BatchUpdateException 怎么办

这个异常本身不说明具体哪条出错,堆栈里往往只有「第 X 条语句失败」,但你根本不知道 X 对应的是原始 batch 中的哪个对象——因为 executeBatch() 返回的是 int[],而其中的 -3(EXECUTE_FAILED)位置和你 list 的索引并不总是一一对应(尤其开了 rewriteBatchedStatements=true 时)。

OpenJDK 24
OpenJDK 24

OpenJDK 24 Windows x64 官方参考实现(24+36),适合 Windows 环境进行 Java 开发、编译、运行和版本兼容性验证。

下载

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • 开发期打开 MySQL 的 rewriteBatchedStatements=true 和 continueBatchOnError=false,让失败立刻抛出,方便定位;
  • 上线后关闭 continueBatchOnError,改用分段提交:每 20 条 executeBatch 一次,缩小排查范围;
  • 记录日志时,不要只记 batch.size(),要记下这批数据的业务 ID 范围(比如 minId/maxId),比存整个对象轻量且可追溯;
  • 注意 Oracle 的 addBatch() 对 null 参数敏感,MySQL 则对批量 insert 的字段数严格匹配,少一个字段就整批 fail。

并发写入时主键冲突或唯一索引重复怎么静默跳过

想用 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE?小心——JDBC 默认把它们当普通 SQL 执行,executeBatch() 里混用会导致语法错误或行为不一致。而且不同数据库对「忽略」的定义不同:MySQL 认为重复是 warning,PostgreSQL 则必须显式写 ON CONFLICT DO NOTHING。

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • MySQL 场景下,统一用 INSERT INTO ... ON DUPLICATE KEY UPDATE id=id(空更新),它能被 batch 正确识别,且返回值中 -2 表示该行被 ignore;
  • PostgreSQL 必须用 addBatch() 提交带 ON CONFLICT 的语句,且驱动版本不低于 42.2.0;
  • 别依赖 SQLException.getSQLState() 判断冲突——它在不同驱动里返回值不一致,优先检查 getErrorCode()(MySQL 是 1062,PG 是 23505);
  • 如果业务允许部分失败,就在 catch 块里把失败项单独 log,并放入重试队列,而不是整个 batch 回滚。

真正难的不是凑齐这些组件,而是当流量突增、DB 延迟毛刺、GC STW 同时发生时,你的 drain 策略、batch 大小、重试退避是否还稳得住——这些没法靠单测覆盖,得靠压测时看 queue.remainingCapacity() 和实际入库延迟的波动关系来调。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

10517

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

7662

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

6672

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1144

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

928

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

1376

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2769

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

20071

2023.08.03

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn