讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

updream

一键生成高质量推广成片

AniShort
AniShort

AI短剧协同制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

如何使用 X-ray 解析非嵌套 HTML 结构为对象数组

浅宇姑娘_5349

浅宇姑娘_5349

发布时间:2026-02-04 11:26:08

|

1053人浏览过

|

来源于php中文网

原创

如何使用 X-ray 解析非嵌套 HTML 结构为对象数组

x-ray 本身不支持直接抓取兄弟节点构成的逻辑区块,但可通过 jsdom 预处理 html,将散列的 `

` 及其后续同级内容动态包裹为独立容器,再用 x-ray 按标准父子结构解析,最终得到符合预期的 sections 数组。

在实际网页爬虫场景中,常遇到类似文档式 HTML:多个

标题平级排列,各自后跟可选的

副标题和
    列表,但无统一父容器分隔各节。这种“非嵌套、靠顺序语义组织”的结构,与 X-ray 基于 CSS 选择器树形遍历的设计范式天然冲突——它无法原生表达“以某个元素为起点,收集其后所有同级兄弟直到下一个同类元素”这样的逻辑。

    直接尝试 xray("h2", [...]) 会失败,因为 X-ray 会将每个

    作为独立上下文,而

    和
      并不在其子树内;而 xray("article", [...]) 加数组语法,则只会执行一次迭代(因全文仅一个
      ),无法生成多节结果。

      ✅ 核心思路:DOM 预处理 + X-ray 后解析
      借助 jsdom 构建内存 DOM,遍历所有

      ,将其及后续连续非-

      兄弟节点(如

      、
        )动态包裹进新
        中。这样就把线性结构转化为多个具备明确父子关系的块级容器,X-ray 即可自然地对每个
        执行对象映射。

        以下是完整、健壮的实现方案(含错误处理与空值兼容):

        Expanso yaml-to-json
        Expanso yaml-to-json

        使用 Expanso Edge 管道将 YAML 输入转换为 JSON 格式。

        下载
        const { JSDOM } = require('jsdom');
        const xray = require('x-ray')();
        
        // 自定义 trim 过滤器(X-ray 默认不内置)
        xray.filters({
          trim: (value) => typeof value === 'string' ? value.trim() : value
        });
        
        async function parseNonNestedSections(html, url = '') {
          const dom = new JSDOM(html);
          const doc = dom.window.document;
        
          // 步骤1:定位所有 h2,并按逻辑分组包裹
          const h2s = doc.querySelectorAll('article h2'); // 限定在 article 内更安全
          if (h2s.length === 0) return { pageTitle: '', sections: [] };
        
          // 创建临时根容器,避免污染 body
          const wrapper = doc.createElement('div');
          wrapper.innerHTML = doc.querySelector('article').innerHTML;
        
          // 重置 wrapper 内部引用
          const h2List = wrapper.querySelectorAll('h2');
        
          for (let i = 0; i < h2List.length; i++) {
            const h2 = h2List[i];
            const sectionDiv = doc.createElement('section'); // 语义化标签更佳
        
            // 移动 h2 到新 section
            sectionDiv.appendChild(h2);
        
            // 收集后续同级节点,直到下一个 h2 或 null
            let next = h2.nextElementSibling;
            while (next && next.tagName !== 'H2') {
              const toMove = next;
              next = next.nextElementSibling;
              sectionDiv.appendChild(toMove);
            }
        
            // 插入到 wrapper 中原位置(保持顺序)
            h2.parentNode.insertBefore(sectionDiv, h2);
            h2.remove(); // 清理已移动的 h2
          }
        
          // 步骤2:用 X-ray 解析预处理后的 HTML
          const processedHtml = wrapper.innerHTML;
        
          return new Promise((resolve, reject) => {
            xray(processedHtml, {
              pageTitle: 'h1 | trim',
              sections: xray('section', [{
                subtitle: 'h3 | trim',
                elements: xray('ul li', ['| trim']) // 返回字符串数组,自动过滤空值
              }])
            })((err, result) => {
              if (err) return reject(err);
              // 确保 elements 始终为数组(即使 ul 不存在)
              result.sections = result.sections.map(sec => ({
                subtitle: sec.subtitle || undefined,
                elements: Array.isArray(sec.elements) ? sec.elements : []
              }));
              resolve(result);
            });
          });
        }
        
        // 使用示例
        const sampleHtml = `
          <h1>Page title</h1>
          <article>
            <h2 id="first">Title 1</h2>
            <h3>Subtitle 1</h3>
            <ul><li>Element 1</li><li>Element 2</li><li>Element 3</li></ul>
            <h2 id="second">Title 2</h2>
            <h3>Subtitle 2</h3>
            <h2 id="third">Title 3</h2>
            <h3>Subtitle 3</h3>
            <ul><li>Element 1</li><li>Element 2</li><li>Element 3</li></ul>
          </article>
        `;
        
        parseNonNestedSections(sampleHtml)
          .then(console.log)
          .catch(console.error);

        ? 关键注意事项:

        立即学习“前端免费学习笔记(深入)”;

        • ✅ 务必限定作用域:querySelectorAll('article h2') 而非全页 h2,避免误包其他区域标题;
        • ✅ 使用 section 替代 div:提升语义清晰度,且不影响 X-ray 解析;
        • ✅ 显式处理空值:subtitle 可能为 undefined(当某节无

          ),elements 统一归一化为 [];

        • ⚠️ 性能提示:对超大页面,频繁 DOM 操作可能有开销;若需高吞吐,建议切换至 Puppeteer 或 Cheerio + 手动遍历;
        • ? 扩展性友好:该模式可轻松适配

          +

          +

          等混合结构,只需调整 sectionDiv.appendChild(...) 的条件逻辑。

          此方案在保留 X-ray 声明式优势的同时,以最小侵入性补足了其对线性语义结构的解析短板,是生产环境中兼顾可读性、可维护性与可靠性的推荐实践。

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
undefined是什么
undefined是什么

undefined是代表一个值或变量不存在或未定义的状态。它可以作为默认值来判断一个变量是否已经被赋值,也可以用于设置默认参数值。尽管在不同的编程语言中,undefined可能具有不同的含义和用法,但理解undefined的概念可以帮助我们更好地理解和编写程序。本专题为大家提供undefined相关的各种文章、以及下载和课程。

12285

2023.07.31

网页undefined是什么意思
网页undefined是什么意思

网页undefined是指页面出现了未知错误的意思,提示undefined一般是在开发网站的时候定义不正确或是转换不正确,或是找不到定义才会提示undefined未定义这个错误。想了解更多的相关内容,可以阅读本专题下面的文章。

5547

2024.08.14

网页undefined啥意思
网页undefined啥意思

本专题整合了undefined相关内容,阅读下面的文章了解更多详细内容。后续继续更新。

2516

2025.12.25

DOM是什么意思
DOM是什么意思

dom的英文全称是documentobjectmodel,表示文件对象模型,是w3c组织推荐的处理可扩展置标语言的标准编程接口;dom是html文档的内存中对象表示,它提供了使用javascript与网页交互的方式。想了解更多的相关内容,可以阅读本专题下面的文章。

6541

2024.08.14

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

60

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

40

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

40

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

60

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

40

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn