讲师中心 微信公众号
AI工具推荐 视频效率加速

如何使用 PHP Simple HTML DOM 正确抓取动态渲染的网页内容

夜杰同学_4655

夜杰同学_4655

发布时间:2026-01-06 12:40:38

|

684人浏览过

|

来源于php中文网

原创

如何使用 PHP Simple HTML DOM 正确抓取动态渲染的网页内容

php simple html dom 无法获取由 javascript 动态插入的 html 元素(如 digikala 商品页的颜色描述段落),因其仅解析初始静态 html,不执行 js;需改用支持浏览器渲染的工具(如 puppeteer、selenium)或调用其 api 接口。

PHP Simple HTML DOM 是一个轻量级、基于字符串解析的 HTML 处理库,适用于纯静态页面的快速抓取。但它不具备 JavaScript 执行能力——当目标网页(例如 Digikala 商品页)依赖前端框架(如 React)或 AJAX 异步加载关键内容(如 <p class="color-900"> 所在的规格信息区块)时,file_get_html() 获取到的只是初始 HTML 骨架,此时 find('p.color-900') 返回空数组,后续遍历中 $e 未定义,触发 Undefined variable 错误(实际更常见的是 Invalid argument supplied for foreach() 或 Notice 级警告,但上下文缺失变量仍可导致此类报错)。

✅ 正确做法是避开服务端 DOM 解析器的局限性:

  1. 优先查官方 API(推荐)
    Digikala 提供公开 API:

    $apiUrl = 'https://api.digikala.com/v1/product/7475119/';
    $json = file_get_contents($apiUrl);
    $data = json_decode($json, true);
    if (!empty($data['data']['product']['attributes'])) {
        foreach ($data['data']['product']['attributes'] as $attr) {
            if ($attr['key'] === 'رنگ') {
                echo "رنگ: " . $attr['value'] . "\n";
            }
        }
    }

    ✅ 速度快、稳定、合法、免反爬;无需渲染,直接获取结构化数据。

    Json Repair Kit
    Json Repair Kit

    使用 Node.js 评估修复格式错误的 JSON,自动纠正尾随逗号、单引号、未加引号的键等常见问题,实现文件规范化。

    下载
  2. 若必须抓取渲染后 HTML,改用 Headless 浏览器
    使用 Puppeteer(Node.js) 或 Symfony Panther(PHP)(基于 ChromeDriver):

    // 示例:Panther 抓取(需安装 Chrome + chromedriver)
    use Symfony\Component\Panther\Client;
    
    $client = Client::createChromeClient();
    $crawler = $client->request('GET', 'https://www.php.cn/link/2f3786db46f91a3b6c8b8f4ab8a78f58');
    $client->waitFor('.color-900'); // 等待动态内容加载
    $colors = $crawler->filter('p.color-900')->each(function ($node) {
        return $node->text();
    });
    echo $colors[0] ?? 'Not found';

⚠️ 注意事项:

立即学习“PHP免费学习笔记(深入)”;

  • ❌ 不要对现代 SPA 页面强行用 Simple HTML DOM + sleep() 或重试——JS 内容不会自动出现;
  • ❌ 避免忽略错误抑制(如 @foreach),应主动检查 $html 是否有效及 find() 结果是否为空;
  • ✅ 在开发阶段始终用 view-source:(非浏览器开发者工具的 Elements 面板)确认目标元素是否存在于原始 HTML 中;
  • ? 遵守 robots.txt 及网站 Terms of Service,对 Digikala 等商业站点,API 是唯一合规方案。

总结:Undefined variable 的根源不是语法错误,而是逻辑断层——你试图从“空容器”中取值。解决的关键在于认清技术边界:Simple HTML DOM ≠ 浏览器。选择合适工具,才能让爬虫真正“看见”网页。

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

相关专题

更多
PHP Symfony框架
PHP Symfony框架

本专题专注于PHP主流框架Symfony的学习与应用,系统讲解路由与控制器、依赖注入、ORM数据操作、模板引擎、表单与验证、安全认证及API开发等核心内容。通过企业管理系统、内容管理平台与电商后台等实战案例,帮助学员全面掌握Symfony在企业级应用开发中的实践技能。

5717

2025.09.11

ajax教程
ajax教程

php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

3020

2023.06.14

ajax中文乱码解决方法
ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

360

2023.08.31

ajax传递中文乱码怎么办
ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2833

2023.11.15

ajax网站有哪些
ajax网站有哪些

使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1161

2024.09.24

php中foreach用法
php中foreach用法

本专题整合了php中foreach用法的相关介绍,阅读专题下面的文章了解更多详细教程。

778

2025.12.04

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1778

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2784

2023.09.04

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn