robots.txt 仅控制抓取，不控制索引；真正禁用索引需用 meta noindex 或 X-Robots-Tag 响应头，且需清除缓存、验证实时状态并避免 SPA 中 JS 延迟注入问题。
robots.txt 里写 Disallow: / 却被索引了？
不是 robots.txt 失效，而是它根本不管“是否索引”，只管“是否抓取”。搜索引擎发现页面后，即使没走 robots.txt（比如通过外链直接访问），仍可能索引该页——只要页面里没明确告诉它别索引。
真正控制索引行为的是 HTML 中的 meta name="robots" 或 HTTP 响应头 X-Robots-Tag。常见错误是只配了 robots.txt，却忘了在页面加 <meta name="robots" content="noindex">。
-
robots.txt是“门禁”，阻止爬虫进门；noindex是“免打扰牌”，进门后也别记笔记 - 动态生成的页面（如搜索结果页、用户后台）必须用
noindex，不能只靠robots.txt挡 - 如果页面已上线且被索引，光加
noindex不够，还要配合max-age=0的缓存控制，避免 CDN 缓存旧的无noindex版本
content="noindex, follow" 和 "noindex, nofollow" 怎么选？
核心看链接价值是否需要传递。大多数情况下选 noindex, follow 更合理：页面不进搜索结果，但里面的重要内链（比如跳转到产品页、分类页）仍可被爬虫发现并传递权重。
只有两种情况才考虑 noindex, nofollow：
一是临时性内容（如活动倒计时页），连链接都不想暴露；二是页面含大量垃圾外链或不可信跳转。
立即学习“前端免费学习笔记（深入）”；
使用 PptxGenJS 和 Python 解析，将结构化的 HTML/CSS 幻灯片内容转换为原生、可编辑的 PowerPoint（.pptx）演示文稿。
-
noindex, nofollow会让爬虫忽略所有链接，可能导致重要子页面长期不被抓取 - WordPress 等 CMS 默认对搜索结果页用
noindex, follow，这是经过验证的平衡做法 - 注意不要和
rel="nofollow"混用——后者只影响单个链接，前者影响整页所有链接
HTTP 响应头 X-Robots-Tag 比 meta 标签更可靠？
是的，尤其对非 HTML 资源或服务端渲染场景。X-Robots-Tag 在响应头发出，早于 HTML 解析，不会被 JS 动态移除，也不受模板拼接遗漏影响。
典型适用场景：
• Next.js / Nuxt 等 SSR 应用中，某些路由需服务端判断是否索引
• PDF、图片等静态资源需统一设为 noindex
• 后台 API 返回的 HTML 片段（如评论模块）需隔离索引控制
- Nginx 配置示例：
location /admin/ { add_header X-Robots-Tag "noindex, nofollow"; } - Apache 需启用
mod_headers，用Header set X-Robots-Tag "noindex" - 注意：响应头和
meta同时存在时，搜索引擎以响应头为准，但部分老旧爬虫可能忽略响应头
为什么加了 noindex 还出现在搜索结果里？
最常见原因是缓存没清干净。Googlebot 可能还拿着旧快照，而你改完代码后 CDN、反向代理、浏览器缓存甚至本地开发服务器都可能返回带缓存头的旧响应。
排查顺序必须是：
1. 用 curl -I https://yoursite.com/page 确认响应头含 X-Robots-Tag: noindex 或页面 HTML 含对应 meta
2. 查看 Google Search Console 的 URL 检查工具，看“当前实时状态”是否已识别 noindex
3. 若已识别但未下线，说明 Google 还没重新抓取——手动提交该 URL 到“移除网址”工具（仅临时隐藏），再等自然更新
- 别用
robots.txt屏蔽该页面来“加速下线”，这反而会阻止 Google 再次抓取确认noindex - SPA 应用要注意：客户端渲染的页面，
meta标签可能在 JS 执行后才注入，Googlebot 若未执行 JS 就会漏掉，此时必须用服务端响应头 - 测试时别只看 Chrome 开发者工具 Elements 标签页——要切到 Network → 选中 HTML 请求 → 查看 Response，确认原始响应确实含
noindex
