讲师中心 微信公众号
AI工具推荐 视频效率加速

PHP函数curl_multi_*实现非阻塞并发抓取【爬虫进阶】

浅宇吖_8758

浅宇吖_8758

发布时间:2026-07-10 23:50:25

|

168人浏览过

|

来源于php中文网

原创

必须调用curl_multi_add_handle才能发起请求,因curl_multi_init仅创建任务容器,未添加句柄则curl_multi_exec无网络行为;选项须在添加前设置,重复添加或顺序错误将导致配置丢失或未定义行为。

php函数curl_multi_*实现非阻塞并发抓取【爬虫进阶】

curl_multi_init 之后必须调用 curl_multi_add_handle 才能真正发起请求

很多人以为 curl_multi_init() 创建句柄后请求就自动发出去了,其实它只是初始化一个“任务容器”,所有具体请求都得手动塞进去。漏掉 curl_multi_add_handle(),curl_multi_exec() 就永远返回 CURLM_CALL_MULTI_PERFORM 或直接卡住,没有任何实际网络行为。

常见错误场景:循环创建多个 curl_init() 句柄,但只对其中一部分调用 curl_multi_add_handle();或者误把 curl_setopt() 放在 curl_multi_add_handle() 之后——此时设置会丢失,因为选项必须在加入 multi 句柄前完成。

  • 每个独立的 cURL 句柄($ch)必须先配置好 CURLOPT_URL、CURLOPT_RETURNTRANSFER 等参数,再传给 curl_multi_add_handle()
  • 添加后不能再调用 curl_setopt($ch, ...) 修改参数;如需动态控制,应在添加前用数组缓存配置,或改用 curl_multi_setopt()(仅限少数全局选项)
  • 重复添加同一个句柄会导致未定义行为,务必确保每个 $ch 只加一次

curl_multi_exec 的 while 循环不是“多线程”,而是轮询驱动状态机

curl_multi_exec() 本身不阻塞,但它返回的状态码(如 CURLM_CALL_MULTI_PERFORM)常被误解为“需要反复调用直到完成”。实际上,这个返回值只表示“还有内部操作要立即执行”,不是“还没跑完”。真正的并发推进靠的是 curl_multi_select() 配合循环等待。

典型翻车点:写成 while (CURLM_CALL_MULTI_PERFORM === curl_multi_exec($mh, $running)) {},这会疯狂空转 CPU,且无法感知 socket 就绪事件,导致超时、连接堆积甚至 PHP 进程卡死。

立即学习“PHP免费学习笔记(深入)”;

CurlShip Directory Submission
CurlShip Directory Submission

向CurlShip提交产品,这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品,支持OG标签抓取、带徽章的dofollow链接及层级升级。

下载
  • 正确模式是:先调一次 curl_multi_exec(),然后进入 while ($running) { curl_multi_select($mh); curl_multi_exec($mh, $running); }
  • curl_multi_select() 最多等待 1 秒(PHP 7.2.22+ 默认值),避免长时间挂起;若需更短等待,可传入毫秒级超时参数(如 0.01)
  • 如果所有请求都很快完成(比如本地 mock 接口),$running 可能在第一次 exec 后就变为 0,select 根本不会被调用——这是正常现象,不代表逻辑出错

获取结果时 curl_multi_getcontent 返回 null?检查 CURLOPT_RETURNTRANSFER 是否启用

用 curl_multi_getcontent($ch) 拿不到响应体,大概率是因为对应句柄没设 CURLOPT_RETURNTRANSFER => true。这个选项必须在 curl_init() 后、curl_multi_add_handle() 前设置,否则 getcontent 永远返回 null,而 curl_exec() 也早已失效(因为 multi 模式下不能调 curl_exec)。

另一个隐藏坑:如果设置了 CURLOPT_HEADER => true,curl_multi_getcontent() 会把响应头和响应体一起返回,但很多人没意识到 header 是原始字符串格式(含 \r\n),直接 json_decode() 会失败。

  • 务必确认每个 $ch 都显式设置了 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true)
  • 不要依赖 curl_setopt_array() 的顺序——数组键名无序,应单独调用或使用索引数组保证执行顺序
  • 调试时可用 curl_getinfo($ch, CURLINFO_HTTP_CODE) 和 curl_error($ch) 辅助判断是否真成功,而非只看 getcontent 是否非空

并发数超过 100 时容易触发系统资源限制,别硬扛

Linux 默认单进程最多打开 1024 个文件描述符,而每个 cURL 连接至少占 1 个 fd(TCP socket + 可能的 DNS socket)。设 200 并发,还没跑就可能报 curl_easy_perform() failed: Couldn't resolve host name 或 Too many open files ——这不是 PHP 错,是系统拦住了。

更隐蔽的问题是:即使调大 ulimit,高并发下 DNS 解析、TIME_WAIT 连接堆积、远程服务限流都会让成功率断崖下跌。盲目堆数量不如稳住节奏。

  • 上线前用 ulimit -n 查当前限制,用 ulimit -n 65536 临时提升(需 root 权限或 shell 配置)
  • 用 curl_setopt($ch, CURLOPT_TCP_KEEPALIVE, 1) 复用连接,配合 CURLOPT_FORBID_REUSE => false 减少握手开销
  • 实际生产建议控制在 20–50 并发,配合 usleep(10000) 在每次 curl_multi_exec() 后微调节奏,比硬上 200 更稳

multi 句柄本身不解决 DNS 阻塞,如果大量域名不同,记得加 CURLOPT_DNS_CACHE_TIMEOUT 或换用 c-ares 异步 DNS(需编译支持)。这些细节不处理,再多的并发也只是在等超时。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

11044

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

6421

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2155

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

4068

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4774

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3751

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5377

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4202

2023.11.13

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn