PHP抓取分页内容的核心是识别分页逻辑：GET参数、AJAX或滚动加载需分别处理；curl循环须检查状态码、内容完整性、添加延时与UA；DOM解析要精确定位、用XPath、解码HTML实体。
PHP 抓取分页内容，核心不是“自动翻页”，而是识别分页逻辑并构造正确请求——多数失败源于没看懂目标网站的分页机制，而非代码写得不够“智能”。
怎么判断分页是 GET 参数、AJAX 还是滚动加载
先打开浏览器开发者工具（F12），切到 Network 标签，手动点下一页或滚动到底部，观察触发了什么请求：
- URL 变成
list.php?page=2或index.html?p=3→ 是 GET 分页，直接拼page参数即可 - 看到
XHR或fetch请求，响应是 JSON，地址像/api/items?page=2→ 是 AJAX 分页，需模拟带Accept: application/json的请求，注意 Referer 和 Cookie 是否需要携带 - 没新请求，但页面 DOM 增加了新条目 → 很可能是前端 JS 渲染的无限滚动，PHP 无法直接抓取，得换方案（如 Puppeteer）或找它背后的真实 API
curl 循环请求时必须处理的三个细节
用 curl 抓多页，光写个 for 循环远远不够：
- 每次请求后检查 HTTP 状态码：
curl_getinfo($ch, CURLINFO_HTTP_CODE)不是 200 就该停，别硬刷 - 解析 HTML 前先确认是否拿到完整内容：用
mb_strlen($html) < 1000或匹配关键标签（如<title>）防返回 403/503 页面被当正常数据 - 加延时不是可选：
usleep(100000)（100ms）比sleep(1)更合理，既防封又不拖慢整体速度；某些站对 User-Agent 敏感，记得设curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0')
用 DOMDocument 提取列表时容易漏掉的边界情况
别一上来就 $dom->getElementsByTagName('li')，真实页面常有干扰：
立即学习“PHP免费学习笔记（深入）”；
- 分页导航栏本身也含
<li>，得用更精确的父容器定位，比如先找$dom->getElementById('content')或$dom->getElementsByClassName('item-list')[0] - 有些列表项是空的、被注释掉的、或用
<div class="item">而非<li>，建议统一用 XPath：$xpath->query('//div[contains(@class,"item") or contains(@class,"post")]') - 内容含 HTML 实体（如
textContent会带乱码，改用trim(html_entity_decode($node->nodeValue, ENT_QUOTES, 'UTF-8'))
真正难的从来不是写循环，而是每一页的 HTML 结构是否一致、反爬策略是否在第 5 页突然升级、目标 URL 是否用了动态 token。动手前花 10 分钟看三页源码和请求头，比写完再调试两小时更省时间。
