爬虫“看”HTML结构本质是信号提取而非渲染解析，依赖h1、title、main、article、img[alt]等具语义权重的标签定位目标字段，div/span/strong等无属性辅助时等价于透明容器；需规避SEO逻辑误用、DOM打乱陷阱及结构不稳定导致的XPath失效，优先用属性和布尔表达式提升健壮性。
爬虫怎么“看”HTML结构：不是解析，是信号提取
爬虫不会像浏览器那样渲染页面，它只关心哪些标签能快速定位目标字段。h1、title、main、article、img[alt] 是少数几个被主流解析器（如 BeautifulSoup、lxml）默认赋予语义权重的标签；其余如 div、span、strong 在无 class/id 辅助时基本等价于“透明容器”。
常见错误是把 SEO 建议直接套给爬虫逻辑——比如全篇用 strong 包价格，结果发现 re.findall(r'<strong>(\d+)</strong>', html) 会抓到导航栏、页脚甚至广告里的数字，因为没限定上下文。
-
h1和title不一致时，多数爬虫仍以h1为正文主标题锚点，但若页面大量使用h2替代h1，XPath 表达式//h1就会返回空 -
main标签虽语义明确，但覆盖率低：约 37% 的 CMS 页面（如 WordPress 默认主题）根本不用它，靠article或 class="content" 代替 -
img[alt]是图像文本唯一可靠来源，src中的文件名（如product-123.jpg）不参与文本索引，除非后端额外注入data-desc
反爬设计中滥用 HTML 结构的典型陷阱
有些站点试图用“打乱 DOM 结构”防爬，比如把标题拆成多个 span 拼接、把价格用 Unicode 零宽字符分隔——这类操作对真实用户无感，但会让基于 CSS 选择器的爬虫失效，代价却是搜索引擎无法识别核心内容，属于伤敌八百自损一千。
真正有效的结构层反爬，是制造“合法但不可靠”的语义信号：
立即学习“前端免费学习笔记（深入）”；
- 在
h1里塞无关词（如“欢迎访问本站”），再用 JS 把真实标题注入data-title属性——静态解析器拿不到，但 Selenium 能取到 - 把关键字段包裹在
noscript标签里，同时用 JS 动态移除该标签并渲染内容——既绕过基础爬虫，又不违反 robots.txt - 用
aria-label替代alt写图片描述：屏幕阅读器能读，但传统爬虫 parser 默认忽略 ARIA 属性
requests + BeautifulSoup 场景下如何规避结构误判
纯静态请求链路里，BeautifulSoup 解析结果高度依赖原始 HTML 的标签完整性。一旦遇到服务端故意删减闭合标签（如漏写 ），或混用 XHTML/HTML5 语法，bs4 的默认解析器（html.parser）极易错位嵌套。
- 强制指定解析器：
BeautifulSoup(html, 'lxml')比'html.parser'更容错，但需安装lxml；'html5lib'最接近浏览器行为，但速度慢 3–5 倍 - 避免直接依赖层级深度，例如不用
div > div > div > span，改用带语义的相对路径：section:has(h2:contains(参数)) + table tr td:nth-child(2)（需支持 :has 的解析器） - 对
script标签内容做二次提取时，别用text属性——它会丢掉注释和 CDATA；应取script.string或script.decode_contents()
为什么你写的 XPath 总在换页后失效
不是 XPath 写错了，而是页面结构本身不稳定。CMS 系统常通过模板变量控制区块显隐，导致第一页有 aside，第二页就没有；或者商品列表页用 ol，搜索结果页改用 ul —— 这些差异在人工浏览时几乎不可见，但会让 //ol/li 在某页返回空列表。
- 优先用属性定位而非标签名：
//div[contains(@class, 'item')]比//ul/li更健壮 - 用布尔表达式兜底：
//div[@id='content']//h3 | //article/h2覆盖多版本标题结构 - 对分页链接提取，别依赖
a[rel='next']—— 很多站点根本不设这个属性，改用//a[text()='下一页' or contains(text(),'»')]
DOM 结构不是越“规范”越安全，而是越贴近真实渲染路径越难绕过。当一个页面连 h1 都没有，却靠 JS 注入完整语义树时，爬虫要么放弃静态解析，要么必须进浏览器环境——这才是结构层反爬真正的分水岭。
