lxml + XPath 比 BeautifulSoup 解析更快、内存占用更低，尤其适合结构清晰、嵌套深或需精确匹配属性/位置的场景，且原生支持完整 XPath 1.0 语法。
为什么用 lxml + XPath 而不是 BeautifulSoup？
当 HTML 结构清晰、嵌套深或需精确匹配属性/位置时，lxml 的解析速度通常比 BeautifulSoup（尤其搭配 html.parser）快 3–10 倍，且内存占用更低。它原生支持完整 XPath 1.0，能写如 //div[@class="item" and position() 这类带逻辑和位置约束的表达式——<code>BeautifulSoup 自身不支持，得靠额外循环。
但注意：lxml 对破损 HTML 的容错性略弱于 BeautifulSoup；若目标页面大量缺失闭合标签或混用大小写，建议先用 lxml.html.fromstring() + lxml.html.tostring() 回写修正，或改用 lxml.html.soupparser（需额外安装 beautifulsoup4）。
parse() 和 fromstring() 怎么选？
二者核心区别在输入来源和编码处理：
-
lxml.etree.parse()：接收文件路径或文件对象，**自动探测编码**（通过<?xml encoding="..."?>或 BOM），适合读本地 HTML 文件或已保存的响应内容 -
lxml.etree.fromstring()：接收字符串（bytes或str），**不自动解码**；传bytes时必须显式指定parser=lxml.etree.HTMLParser(encoding="utf-8")，否则可能报UnicodeDecodeError
爬虫中更常用 fromstring()，因为 requests.get().content 返回的是 bytes：
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
立即学习“Python免费学习笔记（深入）”；
import lxml.etree
html = response.content # bytes
tree = lxml.etree.fromstring(html, lxml.etree.HTMLParser(encoding="utf-8"))
titles = tree.xpath('//h1/text()')常见 XPath 写法陷阱与绕过方案
实际写 XPath 时，以下问题高频出现：
- 空格/换行导致
text()匹配失败：HTML 中<div>\n Hello\n</div>的text()是'\n Hello\n'，不是'Hello'。改用.xpath('normalize-space(//div)')或先取节点再调.strip() - class 名含空格或动态值（如
"btn btn-primary js-submit"）：别写[@class="btn-primary"]，用contains(@class, "btn-primary") - 属性值含引号或特殊字符：用
concat()或转义，更简单是改用re:match()（需启用正则命名空间：namespaces={"re": "http://exslt.org/regular-expressions"}） - JavaScript 渲染内容：XPath 再强也拿不到未加载的 DOM，确认是否需配合
Playwright或Selenium先执行 JS
性能关键：避免重复解析与过度 xpath()
每个 .xpath() 调用都是一次完整遍历，频繁调用会显著拖慢速度：
- ❌ 错误示范：
tree.xpath('//li')[0].xpath('./span/text()')+tree.xpath('//li')[1].xpath('./span/text()')—— 每次都重扫整个文档 - ✅ 正确做法：一次取到所有
<li>，再对每个节点单独查子元素：lis = tree.xpath('//li'); [li.xpath('.//span/text()') for li in lis] - 若只需第一个匹配，用
tree.xpath('(//div[@id="main"])[1]')（括号强制优先级），而非tree.xpath('//div[@id="main"]')[0]（Python 切片仍会返回全部结果再取首项）
另外，lxml 默认不缓存 XPath 编译结果。对固定表达式，可预编译提升 20%+ 速度：compiled = lxml.etree.XPath('//a/@href'); hrefs = compiled(tree)。
