meta robots标签不能阻止爬虫访问，仅控制抓取后的处理；真正禁止抓取需靠robots.txt，而noindex等指令需页面被成功请求后才生效，且存在延迟与兼容性限制。
meta robots 标签本身不禁止爬取，只控制“爬完之后怎么处理”。想让搜索引擎不抓取页面，得靠 robots.txt；想让它抓了但不索引、不展示，才轮到 meta robots 上场。
为什么 meta name="robots" 不能阻止爬虫访问
爬虫在请求 HTML 文件前，会先查 robots.txt。如果该路径被 Disallow 拦住，它根本不会发 GET 请求，自然也看不到你写的 <meta name="robots">。所以：
• robots.txt 是门禁，meta robots 是屋内贴的告示
• 告示再醒目，门禁不开，没人进来读它
• 常见误操作：在测试页加了 noindex，却没封 /test/ 目录，结果爬虫照常抓取并索引（直到下次重新处理指令）
content 值写错导致指令失效
大小写、空格、拼写都影响解析效果，尤其对旧爬虫：
-
noindex,nofollow✅ 安全通用写法 -
NOINDEX, NOFOLLOW⚠️ 大写+逗号后空格，部分爬虫可能忽略 -
noindex, nofollow⚠️ 逗号后带空格，某些老版本 Bingbot 会截断 -
noindex,nofollow,unavailable_after:2026-12-31✅ 支持组合，但时间格式必须是 RFC 850 或 ISO 8601
动态注入无效：用 JS 在 mounted 或 useEffect 里插入 <meta>，Googlebot 不执行 JS，直接跳过。
立即学习“前端免费学习笔记（深入）”；
什么时候该用 name="googlebot" 而不是 name="robots"
当你要差异化控制不同爬虫行为时才需要单独指定：
- 只屏蔽 Google 索引，但允许 Bing 和百度收录？→ 加
<meta name="googlebot" content="noindex">，别动robots - 要同时屏蔽 Google 和百度？→ 必须写两条：
<meta name="googlebot" content="noindex">+<meta name="baiduspider" content="noindex"> - 写了
<meta name="googlebot" content="noindex">，但没写robots？→ Bing、Yandex 等仍可正常索引
注意：baiduspider 的识别不稳定，百度近年更依赖服务端 X-Robots-Tag 响应头。
noindex 生效有延迟，且依赖重新抓取
加了标签不等于立刻下线搜索结果：
- Google Search Console 显示“已禁止索引”，但页面仍在结果中 → 很可能只是还没重抓
- 如果该页面被大量外链引用，Google 可能保留快照数周，即使你早加了
noindex - 页面已被索引后加
noindex，需等下次抓取+解析+处理，通常 1–4 周 - 若页面返回 404 或 410，比
noindex下线更快，但会丢失链接权重
真正难处理的是那些被其他站反复外链的内部页——它们像钉子户，得靠 robots.txt + noindex + 410 三连，才压得住。
