讲师中心 微信公众号
AI工具推荐 视频效率加速

composer怎么安装爬虫框架_composer怎么抓取网页数据【指南】

陌墨姑娘_1472

陌墨姑娘_1472

发布时间:2026-03-17 16:56:31

|

907人浏览过

|

来源于php中文网

原创

Goutte/goutte是主流PHP爬虫框架,需用正确包名安装;它适合静态HTML抓取,不支持JS渲染,需手动设UA、处理编码与超时,并注意选择器语法及session管理。

composer怎么安装爬虫框架_composer怎么抓取网页数据【指南】

composer install 报错 “no matching package found”

不是框架没发布,而是你搜错了包名。主流 PHP 爬虫框架里,goutte/goutte 是最常用、维护最稳的,它基于 symfony/http-client 和 symfony/dom-crawler,不是独立“爬虫引擎”,但足够轻量可靠。别搜“php-spider”“crawler”这类泛词,Composer 不认。

常见错误现象:composer require php-spider/php-spider 直接失败;或装了过时包(如已归档的 fabpot/goutte),导致 PHP 8+ 下无法 autoload。

  • 正确命令是:composer require goutte/goutte
  • 如果项目用了 Laravel,优先用 guzzlehttp/guzzle + symfony/dom-crawler 手动组合,更可控
  • 别碰 jonasheim/php-crawler 这类多年未更新的包,依赖的 ext-curl 版本太老,PHP 8.1+ 会报 Deprecated: curl_setopt(): Passing null to parameter #3 ($value) of type string is deprecated

用 Goutte 抓取网页时返回空内容或 403

Goutte 默认 User-Agent 是 goutte/v4.0,多数网站直接拦截。它不自动处理 JavaScript 渲染、Cookie 持久化或反爬 header,不是“开箱即用”的浏览器模拟器。

使用场景:适合抓取静态 HTML 页面(如新闻列表、文档页、API 返回的 HTML 片段),不适合 Vue/React 渲染的 SPA 或需要登录态维持的后台页面。

  • 加 UA 和 Referer 最基本:$client->setServerParameter('HTTP_USER_AGENT', 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36')
  • 遇到 Cloudflare 或 JS 挑战,Goutte 无解——得换 puppeteer-php 或调用 headless Chrome,但那是另一套工具链
  • 如果目标页需登录,Goutte 能维持 session,但必须手动提交登录表单并检查 response->filter('title')->text() 是否含“欢迎”之类关键词,不能只看状态码 200

DOM 解析时 $crawler->filter() 总是空数组

不是选择器写错,大概率是响应根本没加载成功,或者 HTML 结构和你预期不一致。Goutte 的 filter() 不报错,静默失败是常态。

Academic Composer Upload
Academic Composer Upload

辅助学术写作,包括查找资料、生成大纲、引用扩写及润色风格,同时确保引用规范。

下载

参数差异:支持 CSS 选择器(如 div.post h2),不支持 XPath(除非你手动转成 filterXPath());对大小写敏感,div.ClassName 和 div.classname 是两回事。

  • 先确认响应体:var_dump(substr($response->getContent(), 0, 200)); 看是否真拿到 HTML
  • 检查编码:有些页面声明 charset=gb2312,但实际发 UTF-8,dom-crawler 会解析乱码,导致节点匹配失败;可强制转码:mb_convert_encoding($html, 'UTF-8', 'auto')
  • filter('a[href]') 这种属性选择器没问题,但 filter('a[href^="https"]')(属性开头匹配)在旧版 Symfony Crawler 中不支持,得升级到 v6+

并发抓取时被封 IP 或超时频繁

Goutte 底层用的是 Symfony HTTP Client,默认是同步阻塞请求,foreach 循环抓 10 个 URL 就是串行 10 次。没有内置限速、重试、连接池机制。

性能影响:单次请求默认 timeout 是 0(无限等待),遇到挂掉的站点就卡死整个脚本;DNS 解析、TLS 握手、服务器响应都算在内。

  • 必须设超时:$client->getClient()->setDefaultOption('timeout', 10)(v3.x)或新版用 HttpClient::create(['timeout' => 10])
  • 简单限速:用 sleep(1) 控制频率,别信“每秒 5 次很安全”——目标站的 robots.txt 和实际反爬策略才是依据
  • 真要并发,别硬改 Goutte,直接切到 guzzlehttp/guzzle + Promise,配合 each_limit 控制并发数,Goutte 的 DOM 解析能力可以复用在响应体上

复杂点在于:反爬策略千差万别,有的看请求间隔,有的验 TLS 指纹,有的查 HeadlessChrome 特征。Goutte 只解决“怎么把 HTML 拿回来并选元素”,剩下的得你自己补。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

相关专题

更多
PHP Symfony框架
PHP Symfony框架

本专题专注于PHP主流框架Symfony的学习与应用,系统讲解路由与控制器、依赖注入、ORM数据操作、模板引擎、表单与验证、安全认证及API开发等核心内容。通过企业管理系统、内容管理平台与电商后台等实战案例,帮助学员全面掌握Symfony在企业级应用开发中的实践技能。

5937

2025.09.11

laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

877

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

855

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2508

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4541

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

6630

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

4356

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

8189

2025.08.05

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpMyAdmin 安装文档
phpMyAdmin 安装文档

共0课时 | 0人学习

phpEnv手册
phpEnv手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn