应改用 curl_init() 设置 User-Agent、Referer 等请求头,并启用 FOLLOWLOCATION;JS 中价格需用正则提取后解析,避免误匹配;价格策略应存数据库而非硬编码时间判断;并发抓取宜用 curl_multi_init() 控制数量并加入随机延时与异常熔断。

抓取竞品价格时,file_get_contents() 直接报 403 怎么办
多数电商详情页会校验 User-Agent 和 Referer,裸调 file_get_contents() 几乎必 403。不是 PHP 不行,是目标站拒绝了“无头访客”。
实操建议:
立即学习“PHP免费学习笔记(深入)”;
- 改用
curl_init(),显式设置User-Agent(比如模仿 Chrome 最新桌面版)、Referer(填该商品首页 URL)和Accept-Language - 加
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true)应对跳转(有些价格页会 302 到带 token 的地址) - 若仍被拦截,说明对方有 JS 渲染或行为验证——这时 PHP 原生 HTTP 客户端已不适用,得换方案(见下一条)
页面价格藏在 JS 变量里,DOMDocument 解析不到怎么办
很多站点把最终售价存在 window.__INITIAL_STATE__ 或 var skuPrice = ... 这类内联脚本中,DOMDocument 只解析 HTML 结构,根本读不到 JS 上的值。
实操建议:
立即学习“PHP免费学习笔记(深入)”;
- 先用
preg_match()匹配关键 JS 片段,例如:preg_match('/"price"\s*:\s*(\d+\.\d+)/', $html, $matches) - 更稳的做法:用正则提取整个 JSON-like 数据块(如
__NEXT_DATA__或__PRELOADED_STATE__),再用json_decode()解析 - 避免写过于宽泛的正则(比如
/\d+\.\d+/),容易误抓运费、评分等数字;务必锚定上下文关键词
价格策略自动调整,date('H') 判断时段不如用数据库状态字段
靠 PHP 每次运行时读系统时间决定“是否促销”,看似简单,但一旦服务器时间不准、或需跨多台机器协同,逻辑就不可靠。
实操建议:
立即学习“PHP免费学习笔记(深入)”;
- 把策略开关、生效时间范围、折扣比例等全存进数据库表(比如
price_strategy),PHP 只查当前有效的策略记录 - 加一个
is_active布尔字段 +starts_at/ends_at时间戳,比硬编码if (date('H') > 20)更易维护、可回溯 - 注意 MySQL 时区与 PHP
date_default_timezone_set()一致,否则NOW()和date()对不上
并发抓取多个 SKU 时,sleep(1) 不是万能解法
单纯每个请求后 sleep(1) 能防封,但效率极低;而并发开 20 个 cURL 又大概率触发风控(IP 频率超限、TCP 连接数爆满)。
实操建议:
立即学习“PHP免费学习笔记(深入)”;
- 用
curl_multi_init()控制并发数(比如最多 5 个并行),比单个sleep平衡了速度与稳定性 - 每次请求前随机延时 0.3–1.2 秒(
usleep(rand(300000, 1200000))),比固定间隔更接近真人行为 - 记录每次响应的
http_code和Content-Length,连续 3 次 403 或空响应体,就暂停该域名 5 分钟——别硬刚
真正麻烦的从来不是“怎么拿到价格”,而是“怎么拿得稳定又不被拉黑”。JS 渲染、反爬 token、动态签名、IP 池切换……这些超出 PHP 标准库能力的部分,得提前想好边界在哪。



















