仅写<meta name="robots" content="noindex">不足以拒绝收录，必须同时满足位置（静态置于初始HTML的<head>最上方）、拼写（小写、无空格、英文逗号分隔）、输出方式（服务端直出，非JS动态插入）和配合策略（搭配robots.txt Disallow及X-Robots-Tag响应头）四个硬性条件。
只写 <meta name="robots" content="noindex"> 不足以拒绝收录，必须满足位置、拼写、输出方式、配合策略四个硬性条件。
meta robots 必须静态出现在初始 HTML 的 <head> 里
爬虫不执行 JavaScript，也不会等 Vue/React 渲染完再读 meta 标签。动态插入的 <meta name="robots"> 基本无效。
- 静态站点：直接手写进 HTML 模板的
<head>最上方，紧接<meta charset>后 - Next.js/Nuxt 等 SSR 框架：确保该标签由服务端首次响应时输出，不是 hydration 后补的
- Create React App 等纯 CSR：前端路由页无法靠此控制，必须改用服务端判断 URL 并返回
X-Robots-Tag: noindex响应头 - 验证方法：右键 →「查看网页源代码」→ 搜索
<meta name="robots"，确认它真实存在于原始 HTML 中且在<head>内
content 值必须小写、无空格、英文逗号分隔
拼写或格式错一个字符，整个指令就失效。常见翻车点全是细节问题。
- ✅ 正确写法：
noindex,nofollow、noindex,follow、none - ❌ 错误写法：
no-index（带连字符）、NOINDEX（大写）、noindex, nofollow（逗号后有空格）、noindex，nofollow（中文逗号） - 不要混用多个 name：
<meta name="robots">和<meta name="googlebot">同时存在时，部分爬虫会忽略后者 - 单独写
noindex是合法的，但建议明确补全noindex,nofollow或noindex,follow，避免歧义
必须搭配 robots.txt 才算真正“关门”
meta robots 控制的是“抓了之后怎么处理”，不是“能不能进门”。只靠它，爬虫仍会反复请求页面，浪费资源，还可能因外链被间接索引。
立即学习“前端免费学习笔记（深入）”；
- 对私有路径（如
/admin/、/test/），务必双保险：
— robots.txt 中加Disallow: /admin/
— 对应页面 HTML 的<head>加<meta name="robots" content="noindex,nofollow"> - 如果 robots.txt 已屏蔽某路径，但该路径下某个页面被外部链接指向，且没加
noindex，它仍可能以“URL-only”形式出现在搜索结果中 - CDN 或反向代理缓存旧版 HTML？上线后必须清缓存，并用隐身模式重新请求页面确认源码已更新
单页应用（SPA）不能只靠 meta robots
Vue Router 或 React Router 的子路由页，初始 HTML 往往是空壳，<meta name="robots"> 在 JS 渲染后才注入——爬虫根本看不到。
- 解决方案：由服务端根据请求 URL 路径，在 HTTP 响应头中返回
X-Robots-Tag: noindex -
X-Robots-Tag优先级高于meta robots，且适用于 PDF、JSON、图片等非 HTML 资源 - 注意缓存陷阱：CDN 缓存了带
X-Robots-Tag: noindex的响应，后续即使撤掉指令，页面也可能长期不被索引 - 验证方式：用 curl 或浏览器开发者工具的 Network 面板，检查响应头是否包含该字段
最容易被忽略的其实是缓存和输出时机——代码写了，但没生效，往往是因为构建工具删了 meta 标签、CDN 返回了旧 HTML、或者服务端没按路由动态注入响应头。
