ThinkPHP可通过Redis限流中间件+行为特征识别抑制恶意爬虫，需配置Redis缓存、显式路由绑定、Nginx透传真实IP，并基于IP+路径+时间窗口构建唯一key，辅以Referer、Cookie、JS时间戳等轻量级行为校验，支持按app_id或用户ID分级限流，配合Retry-After响应头与详细日志提升可观测性。
ThinkPHP 本身不提供“专防爬虫”的频率限制功能，但可以通过组合访问频率控制 + 行为特征识别，有效抑制恶意爬虫高频调用接口。关键不是只拦 User-Agent，而是让爬虫在真实交互链路中暴露异常行为。
用 Redis 驱动的限流中间件按 IP+路径限频
这是最直接有效的基础防线。必须确保：
- 缓存驱动已切换为 Redis（File 驱动在并发下完全不可靠）
- 路由显式绑定控制器方法，例如
Route::get('api/data', 'Api/Data.index')；闭包路由不触发限流 - Nginx 正确透传真实 IP：
proxy_set_header X-Real-IP $remote_addr;，PHP 中通过$request->header('X-Real-IP', $request->ip())获取 - 构造带时间窗口的唯一 key，避免多个接口共用计数器，例如：
'rate_limit:' . $ip . ':' . md5($request->url(true)) . ':' . date('Y-m-d H:i')
针对爬虫特征做轻量级行为拦截
单靠 UA 过滤意义不大，但可作为辅助信号，在中间件中统一处理：
- 记录并限流空 UA、含
python-requests、curl/、httpie的请求（不直接拦截，先打标+限频） - 检查
Referer是否为空或非常规域名（如非本站或白名单域名） - 验证是否存在有效会话 Cookie（如
thinkphp_token），真用户有，多数爬虫无 - 对高风险路径（如登录、导出、搜索）提前注入 JS 时间戳字段，服务端校验提交间隔是否过短（如 <800ms）
按用户身份或 App ID 做分级限流
开放平台场景下，更合理的方式是绑定调用方身份：
立即学习“PHP免费学习笔记（深入）”；
- 从 Header 或参数中提取
app_id或登录用户 ID，作为限流 key 主体，而非仅依赖 IP - 配置不同等级应用的额度，例如免费版 100 次/小时，企业版 5000 次/小时
- 使用
Cache::inc($key, 1)原子递增，并配合Cache::set($key, 1, 3600)设置 TTL，避免竞态超限 - 若需精确到秒级窗口，用
date('Y-m-d H:i:s', time() - time() % 60)对齐分钟边界，防止跨秒抖动
配合日志与响应头增强可观测性
限流不是黑盒拒绝，要让运维和前端都清楚发生了什么：
- 在异常处理器中手动添加
Retry-After: 60响应头，符合 HTTP 429 规范 - 记录被限流的请求：IP、UA、路径、时间、是否含 Token、Referer 等，便于回溯分析爬虫模式
- 对高频但低危害的请求（如首页 GET），可降级返回简化 HTML 或静态缓存页，而非直接 429
