讲师中心 微信公众号
AI工具推荐 视频效率加速

怎么抓取移动端网页_PHP抓取手机网站数据教程【详解】

阿辰吖_1210

阿辰吖_1210

发布时间:2026-02-20 19:57:11

|

278人浏览过

|

来源于php中文网

原创

PHP抓取移动端网页需模拟移动浏览器:设正确User-Agent、处理重定向与Cookie、识别JS渲染接口或换用无头浏览器,优先从响应头获取真实编码。

怎么抓取移动端网页_php抓取手机网站数据教程【详解】

PHP 抓取移动端网页,本质不是“抓手机网站”,而是模拟移动端浏览器发起 HTTP 请求——关键在请求头(User-Agent)、响应内容解析、以及应对重定向和动态渲染的策略。

设置正确的 User-Agent 才能拿到移动端 HTML

很多网站(如淘宝、知乎、京东)会根据 User-Agent 动态返回 PC 或 Mobile 版本。不设或设错,可能直接跳转到 PC 页,甚至返回 403/404。

  • 用常见移动 UA 字符串,例如:Mozilla/5.0 (iPhone; CPU iPhone OS 16_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Mobile/15E148 Safari/604.1
  • PHP 中用 curl_setopt($ch, CURLOPT_USERAGENT, $ua) 设置,别漏掉;file_get_contents() 需配合 stream_context_create() 手动传 header
  • 部分站点还校验 Accept、Accept-Language,建议一并带上:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

curl 抓取后返回空或跳转到首页?检查重定向和 Cookie 处理

移动端页面常依赖服务端会话或首次访问的 Cookie(比如检测是否为移动端用户),若忽略重定向或不保留 Cookie,很可能拿不到真实内容。

  • 开启自动重定向:curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true)
  • 启用 Cookie 存储(哪怕只用内存):curl_setopt($ch, CURLOPT_COOKIEJAR, '') 和 curl_setopt($ch, CURLOPT_COOKIEFILE, '')
  • 某些站点(如微信内嵌页)还会验证 Referer,可临时设为来源域名(注意合规边界)

抓到的是骨架 HTML,没数据?可能是前端 JS 渲染(SSR 不足)

现在很多“手机网站”实际是 Vue/React 单页应用(SPA),服务端只返回空容器,数据靠 AJAX 加载。PHP cURL 拿不到 JS 执行后的 DOM。

btpanel phpsite 宝塔面板PHP网站
btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理:站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载

立即学习“PHP免费学习笔记(深入)”;

  • 先用浏览器开发者工具 → Network → XHR/Fetch 查看真实接口地址,直接抓接口(如 /api/v1/feed?platform=mobile)更高效
  • 接口常带鉴权字段(token、sign、时间戳),需逆向分析生成逻辑,不能硬编码
  • 纯渲染页(无可用 API)时,PHP 本身不执行 JS,得换方案:用 Puppeteer + Node.js 或 Playwright,PHP 仅作调度

编码乱码、中文变问号?别只盯 mb_convert_encoding

乱码往往不是 PHP 转码问题,而是没正确识别响应的真实字符集。

  • 优先从 HTTP 响应头读 Content-Type(如 text/html; charset=utf-8),而非依赖 meta 标签
  • 用 curl_getinfo($ch, CURLINFO_CONTENT_TYPE) 获取 header,再用 mb_detect_encoding() 辅助判断
  • DOM 解析前确保字符串编码统一:如果源是 GBK,iconv('GBK', 'UTF-8//IGNORE', $html) 比盲目 mb_convert_encoding 更稳

真正难的不是发请求,而是识别目标站的反爬机制层级:UA 检查、Cookie 维持、接口签名、字体混淆、行为验证……PHP 适合做轻量静态页采集,一旦涉及复杂交互或风控,就得考虑架构分层,而不是硬扛。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

php

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
ajax教程
ajax教程

php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

3120

2023.06.14

ajax中文乱码解决方法
ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

360

2023.08.31

ajax传递中文乱码怎么办
ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2913

2023.11.15

ajax网站有哪些
ajax网站有哪些

使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1161

2024.09.24

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

12259

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1226

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

844

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

1926

2025.08.19

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn