meta name="robots" 标签仅控制索引与链接跟踪，无法阻止抓取请求；真正拦截需靠robots.txt或服务端权限控制，且其生效阶段在索引而非请求。
meta name="robots" 标签根本不能阻止搜索引擎“抓取”——它只影响“是否索引”和“是否跟踪链接”。想拦住请求本身，得靠 robots.txt 或服务端权限控制。
为什么noindex不等于“禁止抓取”
主流搜索引擎（Google、Bing、百度）会照常下载带 <meta name="robots" content="noindex"> 的页面，只是后续不把它放进搜索结果。爬虫看到这个标签时，已经完成了 HTTP 请求、解析了 HTML、提取了文本和链接——所谓“垃圾页面”的内容早已被读走。
- 常见错误现象：给测试页加了
noindex，结果日志里仍看到大量Googlebot请求，误以为标签失效 - 真实原因：它生效了，只是生效在“索引阶段”，不是“请求阶段”
- 如果你的“垃圾页面”含敏感参数（如
/admin?token=xxx）、临时接口或未授权跳转，noindex完全不提供访问防护
noindex, nofollow 适合哪些垃圾页面
这个组合只在页面本身无内容价值、且不希望它成为入口时才合理。比如表单提交成功页、登录跳转中转页、A/B 测试分支页。
-
noindex, follow：适合分页列表页（如/search?q=foo&page=2），不收录但保留链接权重传递 -
noindex, nofollow：适合纯操作响应页（如/logout?redirect=/），既不收录也不扩散链接 - 别对
/api/xxx或/static/config.json这类路径加meta——它们压根不该出现在 HTML<head>里，更不该被爬虫发现 - content 值必须小写、无空格：
"noindex,nofollow"可用，"noindex, nofollow"（逗号后有空格）部分旧爬虫会忽略
真正该用 robots.txt 拦的页面类型
当页面 URL 规律性强、路径可预测、且你不想让任何合规爬虫发出请求时，优先封 robots.txt。例如批量生成的导出页、监控健康检查端点、旧 CMS 的默认模板路径。
立即学习“前端免费学习笔记（深入）”；
- 示例规则：
Disallow: /export/、Disallow: /healthz、Disallow: /*.php?（注意：部分引擎支持通配符，但非标准） - 关键限制：
robots.txt是公开文件，等于把禁止路径直接暴露给所有人；恶意爬虫完全无视它 - 冲突优先级：
robots.txt高于meta robots。如果robots.txt禁了/trash/，那里面写的noindex根本没人看到 - 验证方式：用 Google Search Console 的「robots.txt 测试工具」，别只看源码
容易被忽略的三个执行细节
即使语法正确，meta name="robots" 在实际部署中极易失效，问题通常不出在标签本身，而出在交付链路上。
- 位置错误：标签必须静态写在 HTML 的
<head>内，且在首次响应中就存在；Vue/React 用useEffect动态注入、或通过document.write插入，对爬虫完全不可见 - 构建污染：Webpack +
html-webpack-plugin默认会过滤未知meta，需显式配置meta: { robots: 'noindex,nofollow' } - CDN 缓存：你改了模板，但 CDN 仍返回旧版 HTML；上线后务必清缓存，并用隐身窗口
curl -I或「查看网页源代码」确认标签真实存在
最常被低估的是：HTML 层面没有任何机制能防止 HTTP 请求到达你的服务器。所谓“阻止抓取”，本质是管理爬虫行为预期，而不是实施访问控制。真要防数据采集，得在服务端做身份校验、限流、响应混淆——meta 标签只是 SEO 协议里的一个轻量声明，别把它当防火墙用。
