讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

SoundView
SoundView

字幕擦除翻译、配音口型同步

剧云
剧云

中文短剧剧本制作平台

如何使用 XPath 精准提取含特定参数的链接(如 mediaid)

小伟大大_1554

小伟大大_1554

发布时间:2026-05-01 21:53:03

|

721人浏览过

|

来源于php中文网

原创

如何使用 XPath 精准提取含特定参数的链接(如 mediaid)

本文讲解当目标页面实际 html 源码与浏览器开发者工具中看到的 dom 不一致时,xpath 无法匹配预期 href 的根本原因,并提供基于真实响应源码的可靠定位方案。

本文讲解当目标页面实际 html 源码与浏览器开发者工具中看到的 dom 不一致时,xpath 无法匹配预期 href 的根本原因,并提供基于真实响应源码的可靠定位方案。

在网页爬虫或自动化数据提取中,XPath 是定位元素的常用工具。但一个常见误区是:直接依据浏览器“元素检查”面板中渲染后的 DOM 编写 XPath,而忽略了服务器返回的真实 HTML 源码可能完全不同。

以该问题为例,用户期望通过 //a[contains(@href,"mediaid")] 提取包含 mediaid 的链接,其依据是开发者工具中看到的如下结构:

<div class="download">
  <span class="downloads">25746</span>
  <a href="/download/?type=1&mediaid=205234">Skini titl</a>
</div>

然而,实际通过 requests.get() 或其他方式获取的原始 HTML 响应中,该 标签的 href 并不包含 mediaid 参数,而是形如:

<a href="/titlovi/the-cobbler-205234/">Skini titl</a>

这意味着:contains(@href, "mediaid") 在原始文档中永远为 false —— 因为 mediaid 根本未出现在服务端返回的 HTML 中(它可能是由前端 JavaScript 动态注入或重写生成的)。

✅ 正确做法是:放弃依赖动态参数,转而利用稳定、静态的结构特征进行定位。观察真实源码可知,所有目标链接均位于 class="download" 的

AI舌诊面诊问诊医疗系统+诊疗商城系统源码
AI舌诊面诊问诊医疗系统+诊疗商城系统源码

AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序,基于浩创云、ThinkPHP(PHP)开发,支持微信服务号与 H5 端,适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。

下载
内部的 标签中,且该结构具有唯一性和稳定性。

因此,推荐使用以下健壮 XPath 表达式:

//div[@class="download"]/a

该表达式含义清晰:选取所有 class 属性值精确等于 "download" 的

元素下的直接子 标签。它不依赖 URL 内容,仅依赖 HTML 结构,因而不受前端 JS 修改 href 的影响。

? 注意事项:

  • 使用 //div[@class="download"]/a 时,请确保页面中无其他同名 class="download" 的干扰容器;
  • 若需进一步过滤(例如只取文本含“Skini”或“download”的链接),可在后续用 Python 进行字符串判断,而非强求 XPath 承担全部逻辑;
  • 验证 XPath 是否生效,请始终以 response.text(即原始 HTML 字符串)为依据,而非浏览器渲染后的 DOM;
  • 对于严重依赖 JavaScript 渲染的页面,应考虑改用 Playwright 或 Selenium 获取最终渲染结果。

总结:XPath 的可靠性源于对服务端原始 HTML 结构的准确理解。当参数化 URL 不可见于源码时,应回归语义化结构定位——简洁、稳定、可维护。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

相关专题

更多
pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5244

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

6797

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

2662

2024.11.28

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

100

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

80

2026.11.12

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

160

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

140

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

120

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn