讲师中心 微信公众号
AI工具推荐 视频效率加速

如何处理重定向_PHP爬虫处理302跳转页面方法【解答】

阿墨吖_7855

阿墨吖_7855

发布时间:2026-02-23 20:40:23

|

1036人浏览过

|

来源于php中文网

原创

PHP cURL 默认不跟随302重定向,需显式设置CURLOPT_FOLLOWLOCATION为true,并注意open_basedir限制、手动解析Location头、使用Guzzle等更稳妥方案。

如何处理重定向_php爬虫处理302跳转页面方法【解答】

PHP cURL 默认不跟随 302 重定向

cURL 在 PHP 中默认关闭自动跳转,CURLOPT_FOLLOWLOCATION 是禁用状态。这意味着发起请求后,即使服务器返回 302 Found,cURL 也不会自动请求新 Location 头里的地址,而是直接返回跳转响应体(通常是空或一段 HTML),你拿到的不是目标页面内容。

解决方法是显式开启跳转支持,并注意关联限制:

  • 必须同时设置 CURLOPT_FOLLOWLOCATION 为 true
  • 若启用了 open_basedir 或 safe_mode(已废弃但某些旧环境仍有影响),CURLOPT_FOLLOWLOCATION 会被强制禁用,此时只能手动解析 Location 头并递归请求
  • 建议搭配 CURLOPT_MAXREDIRS 限制跳转次数,防止循环重定向(如 A→B→A)

手动处理 302 响应头中的 Location

当无法启用 CURLOPT_FOLLOWLOCATION(例如共享主机禁用该选项),就得自己读响应头、提取 Location、再发新请求。关键点在于分离响应头与响应体,并避免被压缩或 chunked 编码干扰:

  • 务必设置 CURLOPT_HEADER 为 true,让 cURL 返回头+体混合内容
  • 用 strpos($response, "\r\n\r\n") 或正则匹配 /\r\n\r\n/ 分割头与体,不要依赖 get_headers() —— 它不经过 cURL 的实际传输过程,可能拿不到真实跳转头
  • 从头部分用 preg_match('/Location:\s*(.+)/i', $headers, $matches) 提取跳转地址,注意 trim 空格和换行
  • 跳转地址可能是相对路径(如 /login?next=/admin),需用 dirname($url) . '/' . $location 或 http_build_url()(PECL 扩展)补全为绝对 URL

使用 Guzzle HTTP 客户端更稳妥

Guzzle 默认开启重定向跟随,且自动处理相对 Location、跳转次数限制、Cookie 透传等细节,比裸 cURL 更少出错:

btpanel phpsite 宝塔面板PHP网站
btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理:站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载

立即学习“PHP免费学习笔记(深入)”;

  • 安装:composer require guzzlehttp/guzzle
  • 基础用法:$client->get($url, ['allow_redirects' => true]),其中 allow_redirects 可设为布尔值或数组(含 max、strict、referer 等键)
  • 注意:若目标站对 Referer 敏感,Guzzle 默认不携带,可加 'headers' => ['Referer' => $url] 模拟来源
  • 跳转过程中 Cookie 默认跨域丢失,如需保持会话,确保 allow_redirects['track_redirects'] 开启并检查 Set-Cookie 是否被正确解析

重定向链中 Cookie 和 Referer 的行为差异

不同客户端对跳转时的请求头继承策略不同,这直接影响登录态或权限校验类页面的抓取结果:

  • cURL 开启 CURLOPT_FOLLOWLOCATION 后,Cookie 会自动带上(前提是之前设置了 CURLOPT_COOKIEJAR 或 CURLOPT_COOKIEFILE),但 Referer 不会自动设为上一跳 URL —— 需手动在每次请求前设置 CURLOPT_REFERER
  • Guzzle 默认不发送 Referer,也不自动把上一跳 URL 当作当前跳转的 Referer;若需模拟浏览器行为,必须显式配置 allow_redirects['referer'] = true
  • 某些站点(如微信 OAuth 回调)严格校验 Referer 或跳转链完整性,此时手动实现跳转比依赖自动跟随更可控

重定向看着只是换个 URL,但 Cookie 生命周期、Referer 链路、相对路径解析、跳转深度限制这些细节,任何一个没对齐都可能导致“明明跳了却拿不到数据”。别只盯着 302 状态码本身。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
composer是什么插件
composer是什么插件

Composer是一个PHP的依赖管理工具,它可以帮助开发者在PHP项目中管理和安装依赖的库文件。Composer通过一个中央化的存储库来管理所有的依赖库文件,这个存储库包含了各种可用的依赖库的信息和版本信息。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

364

2023.12.25

Composer 安装与快速入门指南
Composer 安装与快速入门指南

面向 PHP 开发新手,详细介绍 Composer 的下载安装方式(本地安装与全局安装)、国内镜像源(阿里云/腾讯云)加速配置、composer.json 与 composer.lock 文件的作用解析、require/install/update 等核心命令的使用方法,帮助开发者快速掌握 PHP 依赖管理的基本工作流。

603

2026.04.10

Composer 依赖管理与版本控制实战
Composer 依赖管理与版本控制实战

深入讲解 Composer 的依赖管理机制,涵盖语义化版本号规范、版本约束符(^、~、*、>=)的区别与最佳实践、composer.lock 在团队协作中的锁定策略、依赖冲突的排查与解决方法、require-dev 与生产依赖的分离管理、平台依赖检查(platform-check)等进阶内容,帮助开发者在项目中精准控制依赖版本、避免"依赖地狱"。

367

2026.04.10

Composer 自定义包开发与发布教程合集
Composer 自定义包开发与发布教程合集

以实际项目为导向,讲解如何从零创建一个符合规范的 Composer 包,涵盖 composer.json 元信息配置、PSR-4 自动加载规则设置、命名空间规划、单元测试集成、README 与 LICENSE 编写规范,以及将包提交到 Packagist 公共仓库或搭建 Satis/Private Packagist 私有仓库的完整发布流程,帮助开发者将可复用代码封装为标准化的 Composer 包。

389

2026.04.10

Composer 自动加载机制与性能优化
Composer 自动加载机制与性能优化

系统剖析 Composer 的自动加载体系,讲解 PSR-0 与 PSR-4 自动加载标准的区别与演进、classmap 与 files 加载方式的适用场景、autoload_real.php 源码级加载流程解析,同时介绍 composer dump-autoload -o 优化加载映射、APCu 缓存加速、authoritative-classmap 配置等生产环境性能优化手段,帮助开发者深入理解自动加载原理并提升项目启动速度。

340

2026.04.13

Composer 在主流 PHP 框架中的应用实践
Composer 在主流 PHP 框架中的应用实践

结合 Laravel、ThinkPHP、Symfony 等主流 PHP 框架的实际场景,讲解 Composer 在框架项目中的典型应用,包括通过 create-project 初始化框架项目、安装与管理第三方扩展包、scripts 钩子(post-install/post-update)自动执行部署任务、自定义 Installer 插件开发、多项目共享 vendor 依赖的 Monorepo 工作流管理,帮助开发者在真实框架项目中充分发

523

2026.04.13

Composer 镜像源配置与网络问题排查
Composer 镜像源配置与网络问题排查

针对国内开发者常遇到的 Composer 网络问题,详细讲解阿里云、腾讯云、华为云等国内镜像源的全局与项目级切换方法、多镜像源优先级配置策略、composer config 命令行快速设置技巧,同时涵盖 SSL 证书错误、连接超时、下载中断等常见网络报错的排查与修复方案,以及利用 artifact / path 仓库实现完全离线环境下的依赖安装。

331

2026.04.14

Composer Scripts 脚本与自动化工作流
Composer Scripts 脚本与自动化工作流

系统讲解 Composer Scripts 机制的完整用法,涵盖 pre-install、post-update、post-autoload-dump 等内置事件钩子的触发时机与应用场景、自定义脚本命令的定义与参数传递、调用外部 Shell 命令与 PHP 静态方法、多脚本串联执行与条件判断,以及结合代码检查(PHPStan/PHP-CS-Fixer)、数据库迁移、缓存清理等任务构建一键部署自动化工作流。

410

2026.04.14

Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn