HTML结构层面防爬干扰基本无效，因现代解析器可绕过class名和嵌套深度直接按语义路径提取；随机class、多层wrapper、注释隐藏、display:none等仅增加低阶采集成本，无法阻止真爬虫。
HTML结构层面的防爬虫干扰，在源码层做任何混淆都拦不住真爬虫，只能增加低阶采集的成本。 现代解析器（如 BeautifulSoup、Cheerio、Playwright 的 DOM API）不依赖 class 名或标签嵌套深度，而是直接按语义路径提取——//div[@data-price] 或 document.querySelector('[data-value="price"]') 一样能命中，和你写的是 <span class="a1b2">99.9</span> 还是 <u id="p"><i>9</i><sub>9</sub><sup>.9</sup></u> 没关系。
为什么随机 class 名 + 多层 wrapper 是无效操作
这类做法常见于 CMS 自动生成模板或前端工程化“混淆插件”，但实际效果为零：
- class 名在 HTML 中明文存在，
requests.get()拿到 response.text 后，re.findall(r'data-price="([^"]+)"', text)或soup.find(attrs={"data-price": True})["data-price"]直接绕过 class - 多层嵌套（比如
<div><section><article><p><span>99.9</span></p></article></section></div>）不影响 XPath//span/text()提取 - 如果关键字段藏在注释里：
<!-- price: 99.9 -->，BeautifulSoup(response.text, "html.parser")默认会解析注释，soup.find(string=lambda t: "price:" in str(t))仍可捕获 - CSS
display: none或visibility: hidden不影响源码可见性，response.text里照常出现
哪些 HTML 特性容易被误用为“防爬”却反而暴露更多
这些写法不仅无效，还可能泄露额外信息或引入兼容问题：
-
<meta name="robots" content="noindex">：只影响搜索引擎索引，对爬虫请求无任何拦截作用；且该标签本身出现在源码中，等于主动声明“这页有东西值得藏” -
robots.txt里写Disallow: /api/：公开暴露敏感路径，日志里很快能看到User-Agent: DataBot/1.0高频请求/api/price?id=123 - 用
<picture>+ 多个<source>包裹文本：既不能防止 OCR（Tesseract 可识别规整字体），又让屏幕阅读器失效，移动端缩放后模糊 - 把数字替换成全角或 Unicode 同形字（如
１２３或混入\u200b）：部分字体渲染异常，用户复制粘贴时出错，且 Playwright 执行element.textContent仍能拿到原始字符串
如果必须在 HTML 源码中输出敏感字段，怎么降低提取效率
这不是安全方案，而是成本权衡。仅适用于无法改造接口、又需快速上线的临时场景：
立即学习“前端免费学习笔记（深入）”；
- 用 CSS
::before/::after拼接关键字段，例如：<span data-price="99" data-unit=".9"></span>+span::before { content: attr(data-price); } span::after { content: attr(data-unit); }。基础 XPath 提取失败，但getComputedStyle(el).content仍可读取 - 字段拆分后由多个独立标签承载，再靠 CSS 定位拼接（如价格分三段写进三个
<em>，用position: absolute排列），但 Playwright 的el.innerText仍会合并返回 - 服务端动态插入零宽字符（
\u200b、\u200c）到文本中间，人工不可见，但需测试终端字体支持；response.text里仍含这些字符，正则需加re.UNICODE才能匹配 - 所有这类手段都应在响应头加
X-Robots-Tag: noindex（比<meta>更早生效），并确保不用于登录态校验、订单详情等强敏感页
真正难绕过的点永远在服务端：字段是否明文落 HTML、API 是否鉴权、token 是否有时效、请求是否带设备指纹校验。HTML 层面的任何操作，只是把“5 分钟能跑通的脚本”拖长到“需要写 200 行 JS 才能稳定提取”，而不是让它跑不通。
