HTML结构指纹依赖对页面骨架稳定性的持续观测，无法仅靠静态DOM比对绕过；其核心是利用短期内难以重构的布局一致性作为真人访问信号，通过XPath模板哈希与阈值比对识别未执行JS的爬虫。
为什么用 HTML 结构指纹做反爬？
因为内容可变、文本可混淆，但页面整体布局（如 <div class="article"> 包裹正文、<ul class="comment-list"> 固定评论容器）在短期内很难频繁重构。反爬方把这种“结构性一致性”当作真人访问的 proxy 信号。
常见做法是提取页面中所有带 class/id 的块级元素路径，生成类似 html/body/div[2]/main/article/div[1] 的 XPath 模板，再哈希存入 Redis。后续请求若结构偏离阈值（比如 div[1] 变成 section[1]），就触发验证或限流。
- 它不防 requests，但能筛掉没执行 JS 就直接解析 HTML 的爬虫
- 比单纯检查
document.title或<meta name="generator">更难伪造 - 配合服务端渲染（SSR）+ 客户端 hydration，可让指纹在首屏和后续交互中保持一致
requests + BeautifulSoup 怎么被结构指纹识别？
关键点不在你用了什么库，而在于你拿到的 HTML 和浏览器真实加载后的 DOM 不一致。
典型失败场景：
立即学习“前端免费学习笔记（深入）”；
将调研报告、方案对比、数据分析、需求梳理、会议纪要、设计说明、代码评审、学习笔记等任务产物输出为可在浏览器直接打开的单文件 HTML，替代 Markdown 作为最终交付物。Markdown 在信息密度、视觉清晰度和可分享性上已跟不上 AI 产物的丰富度，HTML 能同时承载排版、表格、SVG 等。
-
requests.get()返回的 HTML 中，正文区域是空<div id="content"></div>，真实结构由 JS 注入 —— 此时你提取的“结构”根本不存在 - 目标站用 Webpack 打包后生成随机 class 名（如
class="a1b2c3"），而你用soup.find("div", class_="article")硬匹配，永远找不到 - 服务端根据 UA 或 IP 动态返回不同结构版本（移动端精简版 / PC端完整版），但你的爬虫只按一种结构写解析逻辑
Playwright 如何绕过结构指纹检测？
不是因为它“更像浏览器”，而是它默认执行 JS 并等待网络空闲（page.wait_for_load_state("networkidle")），拿到的是 hydrate 后的真实 DOM 树。
但要注意：结构指纹防御方也在升级，比如：
- 注入不可见的
<span data-fingerprint="xyz">节点，内容由 JS 动态计算生成，requests 拿不到，Playwright 若没等 JS 执行完也拿不到 - 在
DOMContentLoaded后再用requestAnimationFrame重排 DOM —— 这种延迟操作，networkidle不会等，得手动加page.wait_for_timeout(500) - 用 IntersectionObserver 触发内容加载，意味着滚动行为成为结构生成前提；不模拟滚动，结构就“缺一块”
真正有效的结构指纹对抗策略
核心思路不是“伪造结构”，而是“接受结构变异，并建立弹性匹配规则”。
- 放弃硬编码 XPath 或 CSS 选择器，改用相对定位：比如找“包含‘评论’二字的最近
<h2>下方第一个<ul>”，而不是div#comments ul - 对 class 名做模糊匹配：
[class*="comment"]或正则re.compile(r"comment.*list")，避开随机 hash 类名 - 用 Playwright 提取结构时，加一层校验：对比
page.content()和page.inner_html("body")，若差异过大（比如 script 标签占比超 40%），说明 JS 渲染未完成，需重试 - 把结构指纹本身作为特征上报：比如记录每次成功提取的节点深度分布、子元素数量标准差，异常值触发降级为 API 直调
最易被忽略的一点：结构指纹常和 TLS 指纹、Canvas 指纹联动校验。单靠 Playwright 模拟 DOM 不够，还得确保启动参数（如 --disable-blink-features=AutomationControlled）和 TLS 握手层一致，否则服务端一比对就穿帮。
