讲师中心 微信公众号
AI工具推荐 视频效率加速

如何用 PHP 实现一个简单的爬虫程序_使用 file_get_contents 与正则

酷静吖_4812

酷静吖_4812

发布时间:2026-05-02 12:51:44

|

194人浏览过

|

来源于php中文网

原创

file_get_contents 能抓取网页内容,但需目标网站允许且 PHP 启用 allow_url_fopen;若被禁用则必须改用 cURL;正则提取 HTML 时应加 s 修饰符、避免贪心匹配,优先用于结构简单场景,动态渲染页面需换方案。

如何用 php 实现一个简单的爬虫程序_使用 file_get_contents 与正则

file_get_contents 能否直接抓取网页内容

能,但有前提:目标网站允许被访问,且 PHP 配置启用了 allow_url_fopen(默认开启,但部分共享主机已禁用)。如果返回空或警告 Warning: file_get_contents(): failed to open stream: no suitable wrapper,说明已被禁用,此时必须改用 cURL —— file_get_contents 在这种情况下完全不可用。

实际使用时建议先检测:

if (!ini_get('allow_url_fopen')) {
    die('file_get_contents 无法用于远程 URL');
}

正则匹配 HTML 标签的常见翻车点

用 preg_match 提取标题、链接等字段时,最常犯的错误是写 /<title>(.*?)<\/title>/i 这类“贪心+无边界”的表达式。它在遇到换行、注释、嵌套标签(如 <script>document.write('<title>...'))时极易误匹配或漏匹配。

更稳妥的做法是:

立即学习“PHP免费学习笔记(深入)”;

btpanel phpsite 宝塔面板PHP网站
btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理:站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载
  • 加上 s 修饰符让 . 匹配换行符:/<title>(.*?)<\/title>/is
  • 用非贪婪 + 明确字符集替代 .*?,例如提取 href:/href=["\']([^"\'>\s]+)["\']/i
  • 避免匹配跨多行的复杂结构(如整个 <table>),正则不是 HTML 解析器

为什么不用 DOMDocument 而坚持用正则

不是不能用,而是场景不同。如果你只是从格式稳定、结构扁平的页面中提取几个固定字段(比如某天气页的温度数字、某 RSS 源的 <link> 值),file_get_contents + preg_match 组合启动快、依赖少、代码短。而 DOMDocument 需要加载完整文档树,对 malformed HTML 容错虽好,但开销大,且容易因编码问题(如页面声明 gb2312 但内容是 utf-8)导致解析失败或乱码。

若真要用正则提链接,注意两点:

  • 用 mb_convert_encoding 统一转为 UTF-8 再匹配,否则中文 URL 可能截断
  • 匹配后对结果调用 urldecode 和 filter_var($url, FILTER_VALIDATE_URL) 做基础校验

简单爬虫必须加的防护措施

哪怕只是本地调试,不加限制的 file_get_contents 请求也容易触发目标站的反爬机制或造成自身 IP 被封。最小可行防护包括:

  • 设置请求头模拟浏览器:stream_context_create(['http' => ['header' => "User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36\n"]])
  • 加延迟:sleep(1),别连续请求
  • 限定最大响应体大小,防止下载整站:'max_redirects' => 3, 'timeout' => 10, 'ignore_errors' => true
  • 始终检查返回值是否为 false,而非只看长度——网络中断时可能返回空字符串,但不是错误

真正要注意的是:正则永远无法可靠处理动态渲染页面(如 React/Vue 生成的内容),这类页面源码里根本没你想要的数据,再调什么上下文、修饰符都没用。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

11204

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

6501

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2155

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

4108

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4834

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3791

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5457

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4262

2023.11.13

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn