讲师中心 微信公众号
AI工具推荐 视频效率加速

自定义线程池饱和策略:实现一个将任务暂存到数据库或发送到消息队列的容灾拒绝方案

雨雪酱_2709

雨雪酱_2709

发布时间:2026-05-10 11:54:20

|

984人浏览过

|

来源于php中文网

原创

线程池饱和时应将拒绝任务转存至数据库或消息队列实现容灾兜底:数据库适合强一致、需人工干预场景;MQ适合高吞吐、多消费者场景;推荐组合策略——优先MQ,失败再DB,最后日志告警。

自定义线程池饱和策略:实现一个将任务暂存到数据库或发送到消息队列的容灾拒绝方案

当线程池饱和(即线程数已达 maximumPoolSize 且任务队列已满)时,直接丢弃或抛异常可能引发业务数据丢失或用户体验中断。若任务具备“可延迟执行”“需持久化保障”特性(如订单异步通知、用户行为埋点、风控结果落库),推荐将拒绝任务转存至外部可靠介质——比如数据库表或消息队列,实现容灾兜底。

为什么选数据库或消息队列做容灾存储

二者本质都是提供持久化 + 异步重试能力的中间载体:

  • 数据库:适合任务结构固定、需强一致性、后续要人工干预或关联查询的场景(如“支付结果回调失败待重试表”);写入可控、事务支持好,但高并发写入需注意连接池与索引优化。
  • 消息队列(如 Kafka/RocketMQ):适合吞吐量大、天然支持削峰填谷、需多消费者协同处理的场景;具备重试、死信、顺序等机制,但引入了额外中间件依赖和网络开销。

实现一个带数据库落库的自定义拒绝策略

核心思路:在 rejectedExecution 中将任务序列化并插入数据库,不阻塞主线程(建议异步写库或使用连接池+超时控制):

public class DbFallbackPolicy implements RejectedExecutionHandler {
    private final JdbcTemplate jdbcTemplate; // Spring JDBC 模板
    private final String insertSql = "INSERT INTO task_fallback (task_class, task_data, create_time) VALUES (?, ?, ?)";

    public DbFallbackPolicy(JdbcTemplate jdbcTemplate) {
        this.jdbcTemplate = jdbcTemplate;
    }

    @Override
    public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
        if (executor.isShutdown()) return;

        try {
            // 简单序列化:仅记录类名和 toString()(生产中建议用 JSON 或 Protobuf)
            String taskClass = r.getClass().getName();
            String taskData = r.toString(); // 或使用 Jackson.writeValueAsString(r)

            jdbcTemplate.update(insertSql, taskClass, taskData, new Date());
            System.out.println("任务已降级落库:" + taskClass);

        } catch (Exception e) {
            // 落库失败也不应影响主流程,可降级为日志告警
            System.err.println("任务落库失败,将尝试本地日志备份:" + e.getMessage());
            // 可选:写入本地文件或发告警
        }
    }
}

配套建议:

  • 建表字段至少包含:id、task_class、task_data(TEXT)、status(如 'pending'/'failed'/'success')、retry_count、create_time、next_retry_time;
  • 搭配一个定时任务或独立消费者服务,定期扫描 status = 'pending' 的记录,反序列化后重新提交到线程池或调用业务逻辑;
  • 对 task_data 做长度限制或压缩,避免 BLOB 字段撑爆数据库。

实现一个发送到消息队列的拒绝策略(以 RocketMQ 为例)

利用 MQ 的可靠投递和重试能力,更贴近“解耦+弹性”的设计原则:

public class MqFallbackPolicy implements RejectedExecutionHandler {
    private final DefaultMQProducer producer;
    private final String topic = "TASK_FALLBACK_TOPIC";

    public MqFallbackPolicy(DefaultMQProducer producer) {
        this.producer = producer;
    }

    @Override
    public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
        if (executor.isShutdown()) return;

        try {
            // 构造消息体(JSON 格式更通用)
            String json = new ObjectMapper().writeValueAsString(Map.of(
                "taskClass", r.getClass().getName(),
                "taskData", r.toString(),
                "timestamp", System.currentTimeMillis()
            ));

            Message msg = new Message(topic, json.getBytes(StandardCharsets.UTF_8));
            producer.send(msg); // 生产者需已启动且有重试配置
            System.out.println("任务已发送至MQ容灾队列");

        } catch (Exception e) {
            System.err.println("MQ发送失败,触发本地降级处理:" + e.getMessage());
            // 降级方案:写日志、发企业微信告警、或 fallback 到 DB 表
        }
    }
}

关键注意事项:

  • 确保 DefaultMQProducer 已正确初始化、启动,并设置了 setRetryTimesWhenSendFailed(2) 等可靠性参数;
  • MQ Topic 需提前创建,且消费者组需具备幂等消费能力(因 MQ 本身是 at-least-once);
  • 避免在拒绝策略中做耗时操作(如同步等待 sendResult),否则会拖慢调用线程,违背“快速响应”初衷。

组合策略:优先 MQ,失败再 DB,最后日志

真正健壮的容灾方案往往不是单点依赖。可构建分级兜底链路:

  • 第一层:尝试发消息队列(快、可扩展);
  • 第二层:MQ 不可用时,异步写入数据库(稳、可追溯);
  • 第三层:DB 写入也失败,则记录 ERROR 日志 + 上报监控(如 Prometheus AlertManager),触发人工介入。

这种分层设计既保障了大部分情况下的高可用,又为极端故障留出了可观测性和干预入口。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4198

2023.08.10

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

2745

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

3941

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

3031

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

967

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

2647

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

2647

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

2893

2023.10.16

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn