讲师中心 微信公众号
AI工具推荐 视频效率加速

如何正确使用 PHP Simple HTML DOM 解析真实网页内容

轻伟君_6905

轻伟君_6905

发布时间:2026-10-17 18:57:03

|

417人浏览过

|

来源于php中文网

原创

如何正确使用 PHP Simple HTML DOM 解析真实网页内容

php simple html dom 无法提取目标元素,通常因选择器错误、重定向未处理或页面动态渲染导致;本文详解定位原因、验证源码、修正选择器及应对重定向的完整调试流程。

php simple html dom 无法提取目标元素,通常因选择器错误、重定向未处理或页面动态渲染导致;本文详解定位原因、验证源码、修正选择器及应对重定向的完整调试流程。

在使用 simple_html_dom 解析网页时,代码看似简洁(如 foreach($html->find('.text-part') as $e) { echo $e->outertext; }),却常出现“无输出”问题——既不报错,也不打印任何内容。这并非库失效,而是典型的数据链路断裂:解析对象存在,但查询结果为空数组。根本原因需从三方面系统排查:

✅ 第一步:确认目标元素真实存在于服务器返回的原始 HTML 中

浏览器开发者工具中看到的 .text-part,很可能是 JavaScript 动态插入的 DOM 节点。而 file_get_html() 仅获取服务端返回的初始 HTML(不含 JS 执行结果),因此必须先“落地验证”:

<?php
include_once 'simple_html_dom.php';

$html = file_get_html('https://teleprogramma.pro/headlines');
// 关键:保存原始响应,用浏览器直接打开 htmlData.html 查看真实结构
file_put_contents('htmlData.html', $html);

// 检查是否为空或含重定向提示(如 <meta http-equiv="refresh"> 或 301/302 响应头)
if (empty($html)) {
    echo "⚠️ 获取失败:URL 可能已重定向或返回空内容";
    exit;
}

// 输出实际存在的类名,辅助定位
$allClasses = [];
foreach ($html->find('*[class]') as $el) {
    $classes = explode(' ', $el->class);
    foreach ($classes as $cls) {
        if (trim($cls)) $allClasses[] = trim($cls);
    }
}
echo "? 页面中实际存在的 class 列表(去重前10个):" . implode(', ', array_unique(array_slice($allClasses, 0, 10)));
?>

运行后打开 htmlData.html,你会发现 .text-part 并不存在——真实结构中仅有类似 .block-top-section-posts 的容器,且其内部是 Vue.js 占位节点(如 <div id="vuetag-top-section-posts" ...></div>)。这说明:该站点为 SPA 应用,核心内容由前端框架异步加载,Simple HTML DOM 无法解析。

✅ 第二步:处理 HTTP 重定向(关键易忽略点)

file_get_html() 默认不跟随重定向(尤其 301/302),而 https://teleprogramma.pro/headlines 实际会跳转至带参数的新 URL(如 https://teleprogramma.pro/headlines/?ref=...)。若未捕获重定向地址,你解析的可能是空白中间页。

HTML汇报生成器
HTML汇报生成器

🚀 不用写一行代码!把项目总结、工作汇报、研究报告、技术文档、提案、数据看板直接变精美HTML。12种主题 × 11种背景动效 × 9种鼠标特效 × 10种边框样式 × 实时调色器 × 毛玻璃卡片 × PDF导出,生成后还能自由调色,零门槛AI直出。触发词:项目总结、工作汇报、PPT、生成报告、做个总结、HTML文档、数据报告、流程文档、会议纪要、技术文档、研究报告、数据看板、提案、做个展示页、帮我做个汇报、文档生成。

下载

立即学习“PHP免费学习笔记(深入)”;

✅ 推荐方案:使用 cURL 显式获取最终 URL 和响应:

<?php
function getFinalUrlAndContent($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 启用自动跳转
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_HEADER, true); // 获取响应头
    $response = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    $finalUrl = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);
    curl_close($ch);

    // 分离响应头与 body
    $headerSize = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
    $body = substr($response, $headerSize);

    return [
        'url' => $finalUrl,
        'code' => $httpCode,
        'html' => $body
    ];
}

$result = getFinalUrlAndContent('https://teleprogramma.pro/headlines');
if ($result['code'] !== 200) {
    echo "❌ HTTP 错误: {$result['code']},最终地址: {$result['url']}";
    exit;
}

$html = str_get_html($result['html']); // 注意:用 str_get_html() 解析字符串
foreach ($html->find('.block-top-section-posts') as $el) {
    echo htmlspecialchars($el->outertext) . "\n";
}
?>

✅ 第三步:针对动态内容,切换技术栈

若目标数据确由 AJAX 加载(如上例中 Vue 组件通过 /rest/term-additional-loading/... 接口拉取),请放弃 DOM 解析,直连 API:

<?php
// 示例:解析 Vue 组件 data-url 属性,调用真实接口
$html = file_get_html('https://teleprogramma.pro/headlines');
$vueNode = $html->find('.block-top-section-posts #vuetag-top-section-posts', 0);
if ($vueNode && !empty($vueNode->attr['data-url'])) {
    $apiUrl = 'https://teleprogramma.pro' . $vueNode->attr['data-url'];
    $apiResponse = file_get_contents($apiUrl);
    $jsonData = json_decode($apiResponse, true);

    if (json_last_error() === JSON_ERROR_NONE && !empty($jsonData['posts'])) {
        foreach ($jsonData['posts'] as $post) {
            echo "? 标题: " . htmlspecialchars($post['title'] ?? 'N/A') . "\n";
        }
    }
}
?>

⚠️ 重要注意事项

  • 勿滥用 @ 抑制错误:@foreach(...) 会掩盖 $html 为空或 find() 返回 null 的问题,应始终校验:
    if ($html && $elements = $html->find('.valid-class')) {
        foreach ($elements as $e) { /* ... */ }
    }
  • 内存与编码安全:循环解析多页时,务必调用 $html->clear() 并 unset($html);若遇 iconv() 非法字符错误,优先用 mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8') 清洗。
  • 替代方案建议:对现代 SPA 站点,优先选择 Symfony Panther(PHP Headless 浏览器)或直接调用官方 API,而非强行用 Simple HTML DOM “硬解”。

简言之:解析前先存源码验证,重定向需显式处理,动态内容绕过 DOM 直取 API——这是高效、稳定抓取的黄金三角法则。

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

10844

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

6341

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2135

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

4008

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4714

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3691

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5297

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4142

2023.11.13

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn