noindex是robots标签的content值，用于指示搜索引擎不将页面收录进索引库；它通常被遵守但非强制，加了仍可能因外链等原因以纯URL形式出现在搜索结果中。
noindex 是什么，它真能阻止页面被搜到？
noindex 是 <meta name="robots"> 标签的一个 content 值，作用是告诉搜索引擎“别把这页内容放进你的索引库”。但它不是法律条文——只是建议。Google 通常遵守，但 Bing、Yandex 或小众爬虫可能忽略，尤其当该页面被大量外链指向时，仍可能以纯 URL 形式出现在搜索结果里（无标题、无摘要）。
常见误判点：
- 以为加了
noindex就等于“从搜索结果彻底消失”：错。URL 本身若被引用，仍可能露头 - 在返回
404或503状态码的页面上加noindex：多数引擎会直接忽略该指令，优先按状态码处理 - 和
robots.txt混用却没理清逻辑：用robots.txt屏蔽路径 ≠ 阻止索引；必须配合noindex才真正去收录
nofollow 放在 meta 标签里 vs 放在 a 标签里，效果完全不同
nofollow 有两种完全独立的用法，不能混为一谈：
- 作为
<meta name="robots" content="nofollow">：整页所有链接都不跟踪，搜索引擎不会顺着这些链接爬向其他页面，也不传递权重 - 作为
<a href="..." rel="nofollow">：只影响这个链接本身，常用于用户评论、UGC 外链、付费链接等场景，不影响页面其余部分
典型错误：
立即学习“前端免费学习笔记（深入）”；
- 在登录页或用户中心页写
<meta name="robots" content="nofollow">却漏掉noindex：页面照常被收录，只是内链失效，反而造成“有排名但无法导航”的尴尬 - 给站内跳转链接加
rel="nofollow"：比如<a href="/about" rel="nofollow">，会切断内部权重流动，损害 SEO 结构
noindex,follow 和 noindex,nofollow 怎么选？关键看你想传不传权重
这两个组合都禁止收录当前页，区别只在“是否允许爬虫顺着本页链接继续抓取”：
将调研报告、方案对比、数据分析、需求梳理、会议纪要、设计说明、代码评审、学习笔记等任务产物输出为可在浏览器直接打开的单文件 HTML，替代 Markdown 作为最终交付物。Markdown 在信息密度、视觉清晰度和可分享性上已跟不上 AI 产物的丰富度，HTML 能同时承载排版、表格、SVG 等。
-
noindex,follow：适合内容低质但链接有价值的页面，比如搜索结果页、标签聚合页、分页第2页以后。你不想它被搜到，但希望它帮内链页面获得抓取机会 -
noindex,nofollow：适合完全不想暴露、也不愿背书任何链接的页面，比如测试页、A/B 实验页、临时活动页
注意：noindex,follow 不等于“安全”。如果页面含大量垃圾外链，follow 可能被反向利用——爬虫顺着你的链接爬到黑帽站点，连带影响你域名信誉。
为什么 X-Robots-Tag 头比 meta 标签更可靠？
当你需要控制非 HTML 资源（PDF、图片、JSON API 返回页）或统一管理某类路径时，X-Robots-Tag HTTP 响应头优先级更高，且不受页面是否被解析的影响。
例如，Nginx 配置中对所有 /admin/ 下的响应加头：
add_header X-Robots-Tag "noindex, nofollow";
比在每个 admin 页面 HTML 中手动插入 <meta> 更稳定——不会因模板漏写、SSR 渲染失败、CDN 缓存旧 HTML 而失效。
容易被忽略的一点：如果服务器同时返回 X-Robots-Tag 和页面内 <meta name="robots">，前者生效；但若页面通过 JavaScript 动态注入 <meta>，爬虫根本看不到，等于白设。
