robots meta标签必须静态写入HTML的中且在首次HTTP响应中存在才生效；动态JS注入、置于或格式错误（如空格、大写）均会导致主流爬虫忽略，且不替代robots.txt或服务端权限控制。
robots meta标签写在哪才生效
必须放在 里，且在页面首次渲染前被解析；如果动态用 JavaScript 注入（比如通过 document.head.appendChild()），多数爬虫会直接忽略——它们不执行 JS，只读原始 HTML。
常见错误是把它塞进 或者放在 <script></script> 后面又没做 SSR，结果等于没写。
- 正确位置：
<meta name="robots" content="noindex"> - 多个指令用英文逗号分隔：
content="noindex,nofollow" - 不支持空格或中文逗号，
content="noindex, nofollow"中的空格会导致部分旧爬虫只识别第一个指令
content 值有哪些合法组合
robots 的 content 值不是任意字符串，只有特定关键词被广泛支持。Google、Bing 等主流引擎认 index/noindex 和 follow/nofollow，其余如 noarchive、nosnippet 属于扩展指令，支持度有限。
- 最常用且兼容性最好的：
"noindex"、"noindex,nofollow"、"index,follow"（后者通常省略，因是默认行为） -
"none"是简写，等价于"noindex,nofollow"，但部分老旧爬虫不识别，建议显式写出 -
"noimageindex"仅对 Google 图片搜索有效，不影响网页本身索引 - 不要写
"noindex=1"或"robots=off"—— 这些不是标准语法，会被忽略
robots meta 标签和 robots.txt 冲突时谁优先
robots.txt 控制的是“能否抓取”，meta name="robots" 控制的是“抓取后是否索引”。两者作用阶段不同，不存在覆盖关系，但会叠加生效。
立即学习“前端免费学习笔记（深入）”；
- 如果
robots.txt禁止访问某页面（Disallow: /private/），爬虫根本不会去请求它，自然也看不到里面的meta标签 - 如果
robots.txt允许抓取，但页面含<meta name="robots" content="noindex">，爬虫会抓取页面，然后不建索引 - 特别注意：
noindex不阻止抓取，可能产生额外带宽消耗；想彻底屏蔽，得靠robots.txt+ 服务器返回 403/404，而非仅靠 meta
SPA 页面中 robots meta 标签容易失效的原因
单页应用（React/Vue）常在客户端路由切换时更新 <title></title>，却忘了同步更新 <meta name="robots">。爬虫只看首屏 HTML 的 ，后续 JS 修改对它无效。
- 静态生成（SSG）时，确保每个页面的 HTML 文件里都包含对应逻辑的
meta标签 - 服务端渲染（SSR）需在服务端根据路由决定
content值，不能依赖客户端 React Helmet 的 useEffect - 检查方式：直接查看页面源代码（右键 → “查看页面源代码”），而不是浏览器开发者工具里的 Elements 面板
robots.txt 规则和 meta 标签，但没验证二者是否协同——比如 robots.txt 放行了某路径，而该路径下所有页面又漏写了 noindex，就可能意外暴露测试页或后台入口。 
