meta name="robots"标签仅作用于单页且必须静态写入<head>，无法控制路径；路径级限制须依赖robots.txt，二者分层协作：robots.txt决定“能否抓取”，meta标签决定“抓取后如何处理”。
插件化控制搜索引擎对特定文档路径的索引">
meta name="robots" 标签不能插件化控制「文档路径」——它只作用于当前 HTML 页面的渲染上下文，且必须写在 <head> 里。路径级控制只能靠 robots.txt，而页面级控制才轮到 meta 标签。
为什么 meta name="robots" 不适用于路径控制
搜索引擎爬虫在发起 HTTP 请求时，先根据 robots.txt 判断是否允许请求某个路径（如 /admin/ 或 /api/v1/），只有通过这层过滤后，才会下载并解析 HTML 内容。如果路径本身被 Disallow 拦住，meta 标签根本不会被读到。
-
meta是页面级指令，仅对已成功抓取的 HTML 文档生效 - 它无法阻止爬虫请求
/user/profile.php?id=123这类动态路径——除非该 URL 先被robots.txt拦截或返回 404/403 - 即使你在
/public/page.html里写了<meta name="robots" content="noindex">，只要爬虫能访问到这个文件，它就会按此执行；但你不能用它“批量屏蔽/private/*”
meta name="robots" 的真实适用场景
它适合解决那些 robots.txt 无能为力的问题：比如同一路径下不同用户看到不同内容（SSR 渲染页）、A/B 测试页面、或需动态开关索引的 CMS 页面。
-
content="noindex"：告诉搜索引擎别把这个页面放进搜索结果（但可能仍会抓取） -
content="nofollow"：不传递链接权重，常用于用户生成内容或广告链接 -
content="noindex, nofollow"：双重限制，最常用 -
content="index, follow"：显式放行（默认行为，一般不用写） - 支持组合值，但不支持通配符、正则或路径匹配语法
容易踩的坑：看似生效，实则失效
常见错误不是语法写错，而是误判了生效前提：
- 把
meta标签放在<body>或 JS 动态注入——爬虫只认静态<head>中的内容 - 在 SPA 应用中依赖客户端路由（如
/dashboard/settings）写meta，但服务器返回的是同一个index.html，爬虫看不到路径差异 - 用了
noindex却没处理反向链接：其他网站链向该页，Google 仍可能以“URL 已知但无快照”形式展示（带cached链接） - 误以为
noindex能替代权限控制——它不阻止访问，敏感页必须配合鉴权或 403
真正要控制路径级索引，得回到 robots.txt；meta 只是补刀。两者不是替代关系，而是分层协作：先用 robots.txt 拦住不该碰的路径，再用 meta 微调具体页面是否进搜索结果。漏掉任何一层，都可能让本该隐身的页面意外暴露。
