<meta name="robots">必须硬编码在HTML源码<head>内且首次响应即存在，动态JS注入无效；它仅控制抓取后的索引行为，不阻止抓取，生效前提是robots.txt放行、状态码正常、拼写准确（如noindex,nofollow）、无更高优先级X-Robots-Tag覆盖。
meta name="robots" 必须写在 HTML 的 里，且不能动态插入
搜索引擎不执行 JavaScript，也不会等页面渲染完成再读取 <meta name="robots">。如果你用 document.createElement、Vue 的 mounted 或 React 的 useEffect 动态注入这个标签，Google、Bing 等主流爬虫根本看不到它。
验证是否生效的唯一可靠方式：右键网页 →「查看网页源代码」→ 搜索 <meta name="robots"，必须出现在原始 HTML 的 <head> 内部，且位置靠前（早于其他可能冲突的 <meta>）。
- 静态站点：直接写进 HTML 模板的
<head>即可 - SSR 框架（如 Next.js、Nuxt）：确保该标签由服务端首次响应输出，而不是 hydration 后补上
- 纯 CSR 应用：无法靠此标签控制不同路由，需改用
X-Robots-Tag响应头或服务端路由级控制
noindex 和 nofollow 是独立指令，组合要按场景选
noindex 只影响当前页是否被收录；nofollow 只影响当前页上所有链接是否被跟踪爬取。它们不是绑定关系，但误配后果明显：
- 搜索结果页加了
noindex却没加nofollow→ 爬虫虽不存这页，却顺着页内链接发现并抓取大量子页面 - 登录页加了
noindex, nofollow，但页脚有「关于我们」「帮助中心」链接 → 这些重要页面反而失去入口权重 - 仅设
nofollow而不设noindex→ 页面仍会被索引，只是不传递链接权重
常用有效组合只有几个：noindex, nofollow（彻底隐身）、noindex, follow（不收录但保留链接发现能力）、index, nofollow（慎用，易被视作操纵）。
robots.txt 和 meta robots 是两套逻辑，不能互相替代
robots.txt 控制“能不能抓取”，<meta name="robots"> 控制“抓到后怎么处理”。如果 robots.txt 已禁止某路径（如 Disallow: /admin/），爬虫根本不会发请求，meta 标签压根没机会生效。
- 测试页加了
noindex，却忘了在robots.txt中屏蔽/test/目录 → 爬虫照常抓取，甚至可能因内容空或重复被降权 - 后台登录页返回 200，但只靠
meta标签 → 爬虫不仅抓，还可能把表单、错误提示当公开内容记录 - 页面返回 404 或 503 状态码时，
noindex指令大概率被忽略 —— 搜索引擎可能仍尝试索引该 URL
X-Robots-Tag 响应头优先级更高，且适用于非 HTML 资源
当 X-Robots-Tag 和 <meta name="robots"> 同时存在且冲突时，爬虫以响应头为准。更重要的是，X-Robots-Tag 可用于 PDF、图片、API 响应等非 HTML 资源，而 meta 标签只能用于 HTML 页面。
例如，在 Nginx 中为某个路径统一加 noindex：
X-Robots-Tag: noindex
或针对特定爬虫：
X-Robots-Tag: googlebot: noindex
真正起作用的从来不是标签本身，而是它是否在首次 HTTP 响应中真实存在、拼写准确、位置正确（必须在 <head> 内），并且没被更高级别的规则覆盖。
