在ThinkPHP中稳定抓取网页需用think\Http替代file_get_contents，配置timeout、max_redirects及User-Agent等；对JS渲染页用Puppeteer代理；解析用symfony/dom-crawler，配合随机UA、Referer白名单、频率控制与代理轮换应对反爬。
要在ThinkPHP项目中稳定抓取目标网页内容并提取结构化数据，必须绕过基础file_get_contents的局限性，正确配置HTTP客户端、处理重定向与编码、规避常见反爬机制。直接用原生curl手动拼接header容易遗漏Referer或User-Agent导致403，而忽略响应头中的Content-Type则可能引发中文乱码。
配置可复用的HTTP客户端实例
在app/common目录下新建Http.php文件，定义静态方法封装请求逻辑：
使用think\Http类而非原生curl——它自动处理Cookie持久化、重定向跳转和gzip解压，避免手动解析Location头或解压缩失败报错。
在config/http.php中添加全局配置项：timeout设为10秒防止挂起，max_redirects设为3避免无限跳转循环。
立即学习“PHP免费学习笔记（深入）”；
调用时传入完整URL和options数组，例如['headers' => ['User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)']]，【不传headers时默认UA为空字符串，多数网站直接拒绝】。
抓取含JavaScript渲染的页面
方法一：启用PhantomJS桥接（需服务器已部署PhantomJS）
安装phantomjs-service扩展：composer require topthink/think-phantomjs
在控制器中调用：$html = (new \think\PhantomJs())->get('https://example.com')->getContent();
方法二：改用Puppeteer+Node.js服务代理（推荐用于TP8）
启动独立Puppeteer服务监听3001端口，ThinkPHP通过http_client向该端口POST渲染请求，【此方式避免PHP进程阻塞，且支持完整DOM执行】。
解析HTML并提取文章标题与正文
第一步：用simple_html_dom解析器加载抓取结果
通过composer require sunra/php-simple-html-dom-parser引入，注意其不兼容PHP8.2+，若环境为TP8.1请改用symfony/dom-crawler
第二步：定位标题节点
使用find('h1, .title, [class*="title"], [id="title"]', 0)匹配首个标题元素，避免硬编码class名导致规则失效
第三步：清洗正文内容
移除script、style、nav、footer标签后，用strip_tags保留纯文本；对连续空白符执行preg_replace('/\s+/', ' ', $text)压缩空格，否则入库后段落间出现大量换行和缩进
应对反爬策略的实操方案
① 设置随机User-Agent池：在config/agent.php中预置10条主流浏览器UA字符串，每次请求前用array_rand随机选取一条
② 添加Referer白名单：对目标站点子域名做模糊匹配，如parse_url($url, PHP_URL_HOST)匹配到'zhihu.com'时，Referer强制设为'https://www.zhihu.com'
③ 控制请求频率：在采集循环中插入usleep(rand(1000000, 3000000))，即每次延时1～3秒，【低于1秒易触发Cloudflare人机验证】
④ 启用代理IP轮换：从Redis队列pop一个可用代理，请求失败后push回队列尾部并sleep(5)，避免单IP被封影响整体任务流
