讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

updream

一键生成高质量推广成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Laper
Laper

剧本策划到成片协作

Hyperf 3.0 异步队列协程并发模型解析【源码】

陌萱姑娘_3474

陌萱姑娘_3474

发布时间:2026-08-07 15:58:08

|

304人浏览过

|

来源于php中文网

原创

必须穿透ConsumerProcess、协程池、Channel背压、task_worker_num四层结构:ConsumerProcess作为Swoole task_worker进程启动并独占Redis连接池;协程池通过max_coroutines全局调度任务,避免堆积;Channel或concurrent.limit实现背压防OOM;真实并发=task_worker_num×concurrent.limit;$maxAttempts与retry_seconds数组控制重试策略。

hyperf 3.0 异步队列协程并发模型解析【源码】

在 Hyperf 3.0 中实现百万级报表导出、高并发消息推送或实时数据同步时,必须理解异步队列背后的协程并发模型——它直接决定任务是否堆积、内存是否爆炸、失败是否静默。这不是配置几个数字就能解决的问题,而是要穿透 ConsumerProcess、协程池、Channel 背压、task_worker_num 四层结构才能真正掌控。

ConsumerProcess 如何启动并消费队列

异步队列的消费者进程由 Hyperf\AsyncQueue\Process\ConsumerProcess 类驱动,它不是普通 PHP 进程,而是 Swoole 的 task_worker 进程。

框架启动时自动加载 config/autoload/processes.php,其中必须显式注册该类,否则队列永不消费。

ConsumerProcess 启动后,每个进程会独占一个 Redis 连接池实例,持续执行 pop → handle → ack 循环;【若 Redis 阻塞或超时,整个进程将卡死,后续所有任务停滞】。

默认每进程只并发处理 1 条任务(concurrent.limit=1),这是为兼容旧版设计的保守值,生产环境必须调高。

协程池如何接管任务执行

ConsumerProcess 内部不直接执行任务逻辑,而是交由协程池调度:

① 每次 pop 到任务后,调用 $this->container->get(CoroutinePool::class)->execute(...) 提交到协程池;

② 协程池从空闲协程中分配一个执行 Job::handle(),执行完自动归还;

③ 若协程池已满(默认 100 个协程),新任务将排队等待,而非拒绝——这正是任务堆积的根源。

协程池大小由 config/autoload/coroutine.php 中的 max_coroutines 控制,但注意:这个值是全局上限,不是每个 ConsumerProcess 独享的额度。

背压控制:用 Channel 限流防 OOM

方法一:在自定义导出进程里硬编码 Channel

如 App\Process\ReportExportProcess 中创建容量为 8 的 Swoole\Coroutine\Channel,每次执行前 push(1) 占槽,结束后 pop() 释放——这能确保任意时刻最多 8 个协程在渲染报表。

hyperframes-超帧视频
hyperframes-超帧视频

HTML 驱动的视频合成——GSAP 动画、TTS 字幕、音频响应、着色器转场

下载

方法二:复用 async-queue 内置的并发限制

修改 config/autoload/async_queue.php 中对应队列的 concurrent.limit,例如设为 5,即可限制每 ConsumerProcess 进程最多并发执行 5 个 Job。

【切勿将 limit 设为 0 或 null,会导致无限并发,内存瞬间飙至数 GB】

task_worker_num 与实际并发的关系

Hyperf 3.0 已移除 worker_num,异步队列吞吐量由两个参数共同决定:

— server.settings.task_worker_num:决定 ConsumerProcess 进程总数,默认为 CPU 核数 × 2;

— async_queue.default.concurrent.limit:决定每个进程内协程并发数。

真实并发上限 = task_worker_num × concurrent.limit,例如 8 核机器配 task_worker_num=16、limit=5,理论峰值为 80 并发任务。

超过此值的任务会进入 Redis 队列等待,不会触发协程池扩容,也不会报错,只会变慢。

异常任务如何被重试与丢弃

Job 类中定义的 $maxAttempts 属性(默认为 2)决定最大重试次数:首次失败 → 等待 retry_seconds[0] 秒 → 第二次失败 → 等待 retry_seconds[1] 秒 → 第三次失败 → 永久丢弃进 failed_jobs 表(需启用 Hyperf\AsyncQueue\Driver\FailedJob)。

注意:retry_seconds 是数组,不是单个数字;若只写一个值如 [5],则每次重试都等 5 秒,无法实现指数退避。

任务执行超时由 handle_timeout 控制(单位秒),超时后协程被强制终止,不触发重试,直接计入失败。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

12824

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

7361

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2255

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

4648

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

5354

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

4211

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

6117

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4802

2023.11.13

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Hyperf官方中文手册(3.1)
Hyperf官方中文手册(3.1)

共0课时 | 0人学习

Swoole系列-从0到1-新手进阶
Swoole系列-从0到1-新手进阶

共29课时 | 2.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn