讲师中心 微信公众号
AI工具推荐 视频效率加速

爬虫把服务器爬死?ThinkPHP 8.0 User-Agent 过滤与 JS 混淆渲染【反爬】

雨瑶同学_4690

雨瑶同学_4690

发布时间:2026-07-16 20:48:38

|

510人浏览过

|

来源于php中文网

原创

单纯靠User-Agent过滤无效,ThinkPHP 8.0应使用request()->header('user-agent')安全获取UA,结合stripos()白名单匹配、日志记录与限流,再通过前端JS行为打标(如X-Requested-With、Referer、自定义header)实现协同反爬。

爬虫把服务器爬死?thinkphp 8.0 user-agent 过滤与 js 混淆渲染【反爬】

单纯靠 User-Agent 过滤根本挡不住真实爬虫,也救不了被压垮的服务器;真正起效的是行为识别 + 渲染层协同,而 ThinkPHP 8.0 的中间件和钩子机制刚好能低成本落地。

ThinkPHP 8.0 中间件里怎么安全取 UA 并做轻量过滤

别在控制器里写 $_SERVER['HTTP_USER_AGENT'] —— Swoole 或 FastCGI 下它可能为空,且无法兼容 CLI 模式下的请求模拟。必须用框架封装好的接口:

  • request()->header('user-agent') 是唯一可靠方式,TP8 已统一处理不同 SAPI 场景
  • 白名单配置必须放 app/extra/spider.php,内容为 return ['Chrome', 'Firefox', 'Mobile Safari', 'WeChat'];,避免每次请求查 DB
  • 匹配用 stripos(),不是 === 或正则全匹配:合法 UA 变体极多,比如 Mozilla/5.0 (iPhone; CPU iPhone OS 17_5 like Mac OS X) AppleWebKit/605.1.15 里只含 Mobile Safari 字段
  • 对空字符串、纯数字(如 123456)、或含 python-requests/curl/httpie 的 UA,记录日志并触发 RateLimit::oncePerMinute(3),不直接 halt()

为什么 JS 混淆渲染会让爬虫“看起来很像人”,但 TP 后端反而更难防

混淆后的 JS 能绕过基础 UA 检测,但它暴露了更关键的行为特征:页面加载后执行加密逻辑、携带动态生成的 sign 或 token、依赖 document.cookie 和 performance.now() 等浏览器 API。这些恰恰是 TP 后端可验证的硬指标:

  • 检查 request()->cookie('thinkphp_token') 是否存在且未过期——多数爬虫连 Cookie jar 都不维护
  • 验证请求头中是否存在 X-Requested-With: XMLHttpRequest,真用户 JS 请求通常带这个,而静态爬虫常漏掉
  • 比对 Referer 是否来自你自己的域名,且路径是否匹配前端路由规则(如 /detail/123 → /list)
  • 若请求带 data-js-behavior 自定义 header(由前端 JS 注入),说明已通过首屏 JS 执行校验,可跳过验证码

TP8 如何配合前端 JS 行为做反爬联动

不能只让后端猜,要让前端主动“打标”。在页面 HTML 底部注入一段最小化 JS:

Wjs Localizing Video
Wjs Localizing Video

用于端到端视频本地化流程的轻量编排器,路由至四个专注子技能——/wjs-transcribing-audio、/wjs-translating-subtitles...

下载

立即学习“PHP免费学习笔记(深入)”;

if (window.performance && document.cookie.includes('thinkphp_token')) {
  fetch('/api/behavior', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify({
      ts: performance.now(),
      ref: document.referrer,
      js_ok: true
    })
  });
}

后端对应写一个轻量接口 app/controller/Api/Behavior.php,只存 Redis 记录(key 为 session_id,value 为 timestamp),有效期 5 分钟。后续高风险操作(如导出、登录)前,先查这个 key 是否存在且距今

这种模式下,即使爬虫伪造了 UA、绕过了 Referer,只要没执行 JS 或没带 Cookie,就卡在行为验证这一步。而真正用户几乎无感知。

最易被忽略的点:TP8 默认关闭 session.auto_start,如果前端 JS 依赖 thinkphp_token 但后端没开启会话驱动,整个行为链就断了。务必确认 config/session.php 中 'type' => 'file'(或 redis)且 'auto_start' => true 已启用。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

457

2023.08.15

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

920

2023.09.08

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2932

2023.09.19

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

976

2023.10.09

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

869

2023.10.17

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

454

2023.10.17

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2656

2023.10.18

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

4972

2023.10.20

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn