本文介绍如何通过组合xpath表达式，灵活匹配不同html结构（如多类名容器、不同嵌套标签）并精准提取目标文本（如运费），避免重复编写解析逻辑。
本文介绍如何通过组合xpath表达式，灵活匹配不同html结构（如多类名容器、不同嵌套标签）并精准提取目标文本（如运费），避免重复编写解析逻辑。
在网页数据抓取实践中，目标字段（例如“运费”）常出现在结构不统一的HTML页面中——有的页面用 <div class="flex flex-row justify-between f6 mid-gray pt2"> 包裹，运费位于其子 <div class="green"> 内；另一些页面则采用 <div class="mid-gray flex items-center"> 容器，运费藏于其内部 <span> 标签中。若为每种结构单独编写解析逻辑，不仅冗余，还降低可维护性。
此时，推荐使用 XPath 的联合选择（Union） 语法：用 | 连接多个路径表达式，并用括号包裹整体，再通过 [1] 确保仅返回首个匹配结果（避免重复或空值干扰）。优化后的单条XPath如下：
(//*[@class="flex flex-row justify-between f6 mid-gray pt2"]/div[@class="green"] | //*[@class="mid-gray flex items-center"]/span)[1]/text()
✅ 关键说明：
- //*[@class="..."] 使用完整类名匹配（注意：XPath 中 class 属性值是字符串全匹配，非部分匹配，因此需确保类名顺序与HTML中完全一致；若存在动态类名或顺序不确定，建议改用 contains(@class, "mid-gray") and contains(@class, "flex") 等更鲁棒写法）；
- /div[@class="green"] 显式限定子元素，比原问题中模糊的 //div[2] 更稳定（避免因DOM结构调整导致索引偏移）；
- [1] 作用于整个联合结果集，确保即使两条路径均命中，也只取第一个有效文本节点，避免多值异常；
- /text() 直接提取纯文本内容，适用于无子标签的干净文本场景。
⚠️ 注意事项：
立即学习“前端免费学习笔记（深入）”；
- 若页面中两类结构可能同时存在且需全部提取，请移除 [1] 并遍历所有结果；
- 对于现代前端框架生成的动态类名（如 mid-gray css-1a2b3c），建议结合 CSS 选择器（如 soup.select('.mid-gray, .green')）或正则预处理类名后再匹配；
- 在 Scrapy、lxml 或 Selenium 中使用该XPath时，务必检查返回类型——text() 轴返回的是文本节点，部分库需 .get() 或 .strip() 处理空白。
掌握这种“多路径合一”的XPath设计思维，可显著提升爬虫健壮性与代码复用率，是构建工业级网页解析逻辑的关键实践之一。
