爬虫抓取效率低主因是HTML语义结构缺陷：缺失或误用<main>标签、标题层级混乱（H1唯一且含关键词、严格嵌套）、alt/canonical/viewport三标签错误、head中阻塞渲染代码。
爬虫抓取效率低，八成不是服务器或网络问题，而是 HTML 结构本身在“劝退”爬虫。 直接改代码比调爬虫规则更治本——尤其当你发现 robots.txt 没拦、status 200 正常、但关键内容就是不进索引时，大概率是页面语义结构出了问题。
为什么爬虫会漏掉你的正文？—— 标签缺失或误用
爬虫靠语义标签快速定位主体内容，<main></main> 就是它找“正餐”的第一站。没这个标签，或者把它套在广告区、侧边栏里，爬虫就会把大量时间花在遍历无意义的 div 嵌套上，甚至直接放弃深度解析。
- 必须确保
<main></main>包裹全部核心内容（文章正文、产品参数表、表单主体），且只出现一次 - 禁止嵌套在
<section></section>或<article></article>内部——<main></main>是顶层容器，不是装饰性分组 - 如果 CMS 输出自动加了多个
<main></main>（比如列表页 + 每个卡片都包一个），立刻用 JS 或服务端逻辑合并/剥离 - 检查渲染后 DOM：打开浏览器 DevTools → Elements → 搜索
<main>，确认它包裹的是你希望被索引的内容块
标题层级混乱导致爬虫“看不懂重点”—— 到 的硬约束
的硬约束
爬虫把 <h1></h1> 当作页面唯一主题锚点，跳级、重复、泛化都会触发“结构不可信”信号，降低抓取优先级甚至跳过内容段落。
- 每页严格一个
<h1></h1>，且必须出现在<main></main>内，不能是页头 logo 或导航文案（如<h1>Welcome to Our Site</h1>） -
<h1></h1>文本需自然含该页核心关键词（如电商页写<h1>Wireless Bluetooth Headphones with ANC</h1>，而非<h1>Products</h1>） - 后续标题必须严格嵌套：
<h2></h2>是一级章节（Features / Specs），<h3></h3>是其子项（Battery Life / Noise Cancellation），禁止用 CSS 放大<p></p><div class="aritcle_card flexRow"> <div class="artcardd flexRow"> <a class="aritcle_card_img" href="/xiazai/skill6726" title="Serpzilla SEO Guest Posting Skill for OpenClaw"><img src="https://img.php.cn/upload/skill/000/000/081/179109731163257.jpg" alt="Serpzilla SEO Guest Posting Skill for OpenClaw" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a href="/xiazai/skill6726" title="Serpzilla SEO Guest Posting Skill for OpenClaw">Serpzilla SEO Guest Posting Skill for OpenClaw</a> <p>通过Serpzilla平台在可信赖的捐赠网站上购买客座文章进行SEO推广的技能</p> </div> <a href="/xiazai/skill6726" title="Serpzilla SEO Guest Posting Skill for OpenClaw" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div>冒充标题 - 避免
<h1></h1>后直接<h3></h3>——爬虫会认为中间信息缺失，可能跳过整段
alt、canonical、viewport 这三个标签错一个，收录就掉档
它们不报错、不显眼，但属于基础设施级配置。出错不会让页面白屏，却会让爬虫在关键判断上直接“误判”。
立即学习“前端免费学习笔记（深入）”；
-
<img>的alt属性不可省略：功能性图写作用（alt="Search"），内容图写实际内容（alt="Black wireless headphones on white background"），装饰图明确写alt="" -
<link rel="canonical">每页必加，href必须是绝对 URL（https://example.com/product/abc），相对路径或协议相对路径（//example.com/）会导致解析失败，爬虫视同重复页 -
<meta name="viewport">缺失或写错（如content="width=1200"），Google 在 mobile-first indexing 下会降权移动排名；固定写法只能是<meta name="viewport" content="width=device-width, initial-scale=1">
别再往 塞 JS/CSS —— 阻塞渲染直接让爬虫超时放弃
现代爬虫（尤其 Googlebot）会执行 JS，但默认有严格超时阈值。如果 里塞了未压缩的第三方分析脚本、内联大块 CSS，或用了 document.write，爬虫可能在解析完 前就中断了。
- 把非关键 CSS 提取为外链，用
media属性做条件加载（如<link rel="stylesheet" href="https://www.php.cn/link/a6e7cd3a1a9301e3df6d39defb37f1e6" media="print">） - JS 脚本加
defer或async，禁止阻塞式<script>（尤其是放在<head>顶部的） - 移除所有
http-equiv="refresh"——爬虫识别为 soft 404 或跳转页，直接降低信任度 - 用 Lighthouse 或 Google Search Console 的 URL 检查工具验证：看“Coverage”里是否显示“JavaScript is taking too long to execute”
真正卡住爬虫的，往往不是某一行代码，而是多个小错误叠加后的语义模糊——比如 <main></main> 包了半截正文、<h1></h1> 是通用文案、canonical 指向 404 页面，三者同时存在时，爬虫可能连尝试解析都跳过。修复优先级要按“基础设施 > 主体结构 > 渲染性能”来排，别一上来就优化 JS 加载速度。
