<meta name="googlebot" content="noindex"> 不是硬拦截，因 Googlebot 先按 robots.txt 决定是否抓取，再解析 HTML 处理该标签；若 robots.txt 未禁止，页面仍被下载并可能泄露敏感信息。
直接加 <meta name="googlebot" content="noindex"> 不能硬拦截 Googlebot 抓取，它只管“抓完后不索引”，不阻止请求本身；真要拦住访问，得靠 robots.txt 或服务端响应头。
为什么 <meta name="googlebot"> 不是“硬拦截”
Googlebot 的行为分两步：先查 robots.txt 决定“进不进门”，再解析 HTML 处理 <meta name="googlebot"> 决定“进门后干啥”。如果 robots.txt 没拦，它就会发请求、下载 HTML、看到标签、然后跳过索引——但页面内容已被读取，表单字段、错误提示、路径结构都可能被记录。
常见误操作：
- 在测试页加了
<meta name="googlebot" content="noindex">，却没在robots.txt中Disallow: /test/→ Googlebot 照抓，甚至因内容空或重复被标记为低质 - 后台登录页返回
200+noindex→ 爬虫不仅抓，还可能把<input type="password">或401 Unauthorized文本当公开内容存入快照 - 页面返回
404或503时写noindex→ Googlebot 可能忽略该指令，仍尝试索引 URL（哪怕没内容）
<meta name="googlebot"> 和 <meta name="robots"> 到底该用哪个
只屏蔽 Google，其他引擎（Bing、Yandex）照常索引？才需要单独写 <meta name="googlebot">。否则一律用 <meta name="robots"> —— 它覆盖更广，且 Googlebot 也认这个。
立即学习“前端免费学习笔记（深入）”；
必须注意的细节：
- 写了
<meta name="googlebot" content="noindex">，但没写<meta name="robots">→ Bing、Yandex 仍可正常收录 - 要同时屏蔽 Google 和百度？得写两条：
<meta name="googlebot" content="noindex">+<meta name="baiduspider" content="noindex">（但注意：baiduspider识别不稳定，百度近年更依赖X-Robots-Tag响应头） -
content值必须小写、逗号紧连、无空格：noindex,nofollow✅；noindex, nofollow（逗号后带空格）⚠️；NOINDEX,NOFOLLOW部分旧爬虫可能不认
非公开页面真正的硬拦截组合方案
想让 Googlebot 连请求都不发，必须让 robots.txt 先起效。但仅靠它还不够，需三者配合：
-
robots.txt中明确Disallow: /admin/（注意末尾斜杠表示前缀匹配，/admin/login.html会被拦，/admin-api/不会） - 对应路径的服务端返回
403 Forbidden或410 Gone（比noindex下线更快，且向 Google 明确传递“此资源已不可用”） - 若页面必须返回
200（如 SSR 路由兜底），则改用 HTTP 响应头：X-Robots-Tag: noindex—— 它优先级高于<meta>，且适用于所有资源类型（PDF、JSON、图片）
特别提醒：CDN 或 Nginx 缓存了带 X-Robots-Tag: noindex 的响应，之后即使撤掉指令，页面也可能长期无法被索引。
SPA 页面里 <meta name="googlebot"> 几乎必然失效
React/Vue 单页应用的 HTML 初始响应通常是空壳，<meta name="googlebot"> 在 useEffect 或 mounted 里动态插入 —— Googlebot 不执行 JS，也不会等渲染完成，它只读初始 HTML 的 <head>，此时什么都没有。
可行解法只有两个：
- 服务端渲染（SSR）：Next.js 的
getServerSideProps、Nuxt 的asyncData，确保标签随首屏 HTML 一起输出 - 服务端路由级判断：Nginx 或 Node.js 中间件根据
req.url匹配敏感路径（如/user/settings），直接注入X-Robots-Tag: noindex响应头
别指望前端路由守门——对 Googlebot 来说，那扇门早就敞开了，你贴在门后的告示，它根本没看见。
