html.parser因无DOM修复能力，在标签错位、缺失闭合时漏节点；lxml依托libxml2容错引擎可自动恢复嵌套、处理自闭合标签及HTML5语义标签，更适合复杂网页解析。
复杂网页架构不是“解析不了”，而是默认解析器在遇到嵌套混乱、标签缺失、JS注入或命名空间混用时，会产出不一致的 DOM 树——关键不在换库，而在选对解析器 + 控制解析粒度。
为什么 html.parser 在复杂页面里经常漏节点
Python 标准库的 html.parser 是纯状态机实现，不构建完整 DOM，也不修复错误。它遇到 <div><p>文本</div> 这类错位闭合时，不会自动补 </p>，而是把 <p> 当作孤立开始标签，后续 find_all('p') 就找不到内容。
- 它不维护元素栈，无法回溯修复嵌套断裂
- 对自闭合标签（如
<img />）依赖严格语法，遇到<img>会误判为开始标签 - 不识别 HTML5 新增语义标签（如
<article>、<nav>），部分版本会降级为未知标签处理
这不是 bug，是设计取舍：轻量、可控、适合已知结构清晰的文档。一旦网页来自 CMS 或前端框架生成（比如 Vue SSR 输出带大量注释和条件占位符的 HTML），html.parser 就容易断链。
lxml 为什么更适合解析现代复杂页面
lxml 底层调用 libxml2，自带 HTML 容错引擎，行为接近浏览器解析器。它会在解析阶段主动做三件事：recover（恢复断裂嵌套）、strip_cdata（清理 CDATA 包裹的 JS 内容）、remove_blank_text（压缩无意义空白）。
立即学习“前端免费学习笔记（深入）”；
- 遇到
<ul><li>A<li>B</ul>，自动补全第二个</li>，而不是丢弃 B 节点 - 能正确处理
<meta charset="UTF-8">和<meta name="viewport">等单标签，无需手动判断闭合 - 支持 XPath 1.0，比 CSS 选择器更擅长定位“第 n 个子元素中含特定文本的父容器”这类强条件场景
代价是二进制依赖（需系统级编译）和稍高内存占用，但对真实网页——尤其是含广告脚本、动态插入 div 的新闻站或电商页——lxml 的 DOM 完整性远高于 html.parser。
BeautifulSoup 的 select() 和 find_all() 到底该用哪个
select() 走 CSS 选择器路径匹配，find_all() 是树遍历+属性过滤。两者性能差异在万级节点时才明显，但语义和稳定性差别很大：
-
soup.select('div.product-grid > article:nth-of-type(2) h3 a')：路径明确，但若中间某层 class 名被 JS 动态改写（如product-grid→product-grid--loaded），整个选择器失效 -
soup.find_all('a', href=True, string=re.compile(r'详情'))：不依赖 class，靠属性+文本内容锚定，抗扰动强，但可能匹配到页脚无关链接 - 混合用法更稳：先
find_all('section', attrs={'data-role': 'product-list'})锁定区域，再在其内部.select('h3 a')
别迷信“CSS 选择器更高级”。真实爬虫中，find_all(name='table', recursive=True) 配合 attrs 字典过滤，往往比 select('table[data-type="price"]') 更可靠——因为 data 属性是否渲染、是否带引号、是否大小写敏感，都受前端框架输出逻辑影响。
嵌套过深时如何避免递归爆炸和内存溢出
当页面有 20+ 层 <div> 套娃（常见于 React/Vue 组件化结构），soup.find_all(True) 或无限制 .children 遍历极易触发 Python 默认递归限制（RecursionError: maximum recursion depth exceeded）或吃光内存。
- 永远显式设
recursive=False：只查直接子节点，再逐层收口 - 用生成器替代列表：例如
(e for e in tag.children if e.name == 'span')，避免一次性加载全部节点 - 提前剪枝：在
find_all()中加limit=10，或用find_next_siblings()替代全量遍历 - 对超长文本节点，用
.get_text(strip=True, separator=' ')而非.text，防止因换行符嵌套导致字符串爆炸
最易被忽略的一点：不要在循环中反复调用 soup.find() 查同一类结构。先 all_sections = soup.find_all('section')，再对 all_sections 进行切片或条件过滤——DOM 树遍历本身开销不小，重复走相同路径是隐形性能杀手。
