讲师中心 微信公众号
AI工具推荐 视频效率加速

php代码示例怎样抓取网页内容_php抓取网页内容代码示例【示例】

秋强酱_8743

秋强酱_8743

发布时间:2026-01-29 15:22:02

|

950人浏览过

|

来源于php中文网

原创

file_get_contents()适合无反爬、无JS渲染的简单网页抓取,需开启allow_url_fopen;cURL适用于重定向、Cookie、POST等复杂场景;乱码优先查Content-Type和meta编码;JS渲染内容须找API或换Headless方案。

php代码示例怎样抓取网页内容_php抓取网页内容代码示例【示例】

用 file_get_contents() 抓取简单网页最直接

如果目标网页没反爬、没 JavaScript 渲染、且允许 GET 请求,file_get_contents() 是最快捷的方式。它本质是发起一次 HTTP GET,返回原始响应体。

注意:allow_url_fopen 必须为 On(PHP 默认开启,但某些共享主机或安全加固环境会关闭)。

  • 示例:$html = file_get_contents('https://example.com');
  • 带基础请求头(如模拟浏览器)需配合 stream_context_create():
    $opts = ['http' => ['header' => "User-Agent: Mozilla/5.0\r\n"]];<br>$html = file_get_contents('https://example.com', false, stream_context_create($opts));
  • 超时控制必须显式设置,否则可能卡死:'timeout' => 10(单位秒)
  • 遇到 4xx/5xx 状态码,file_get_contents() 仍会返回内容(除非网络层失败),不会抛异常,需自行检查 $http_response_header

用 cURL 处理重定向、Cookie 和 POST 请求

当需要登录、表单提交、处理跳转或精细控制请求生命周期时,cURL 是实际项目中的标准选择。

常见坑点:默认不跟随 302 重定向;不自动管理 Cookie;SSL 验证在某些自签名或旧站点上会失败。

立即学习“PHP免费学习笔记(深入)”;

Browser Js
Browser Js

轻量级CDP浏览器控制,适用于AI代理。相较于内置浏览器工具,token消耗降低3‑10倍,仅在浏览时使用。

下载
  • 基础 GET 并自动跳转:
    $ch = curl_init('https://example.com');<br>curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);<br>curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);<br>$html = curl_exec($ch);<br>curl_close($ch);
  • 携带 Cookie(如维持登录态):curl_setopt($ch, CURLOPT_COOKIE, 'PHPSESSID=abc123;')
  • 跳过 SSL 验证(仅调试用,生产禁用):curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
  • 获取真实 URL(跳转后):curl_getinfo($ch, CURLINFO_EFFECTIVE_URL)

抓到的内容是乱码?优先检查 Content-Type 和编码声明

中文网页常因 HTTP 响应头的 charset 与 HTML 中的 <meta charset="gb2312"> 不一致,导致 mb_convert_encoding() 误判。

  • 先看响应头:curl_getinfo($ch, CURLINFO_CONTENT_TYPE),例如 text/html; charset=gbk
  • 再看 HTML 内 meta 标签(可能被 JS 动态插入,但静态页一般可靠)
  • 转换建议顺序:mb_convert_encoding($html, 'UTF-8', 'GBK') → 若失败,尝试 iconv('GBK', 'UTF-8//IGNORE', $html)
  • 若页面本身无明确编码声明,可用 mb_detect_encoding() 辅助判断,但不可靠,慎用

遇到 JavaScript 渲染内容?file_get_contents() 和 cURL 都无能为力

它们只拿到服务器返回的原始 HTML,不执行 JS。像 Vue/React 单页应用、动态加载评论、异步拉取数据等场景,返回的 HTML 里往往只有空容器或占位符。

这时候必须换方案:

  • 找接口:用浏览器开发者工具(Network → XHR / Fetch)看页面真实数据来源,直接请求 JSON 接口更稳定
  • 服务端渲染(SSR)或预渲染(Prerender)的站点,可尝试加 _escaped_fragment_= 参数(已基本淘汰)
  • 真要跑浏览器环境,得用 Puppeteer(Node.js)或 Playwright,PHP 生态没有成熟、轻量、可靠的 Headless 浏览器封装
  • 强行用 exec('curl ... | node parse.js') 调外部工具,维护成本高,不推荐

别在 PHP 里硬扛 JS 渲染——这不是语言限制,而是架构错配。抓不到,大概率说明你该换思路,而不是换函数。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2035

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

2982

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1016

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

3379

2025.09.10

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

11419

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1026

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

764

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

1866

2025.08.19

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn