robots.txt是爬取前的访问建议，meta robots是爬取后的索引指令；noindex需页面成功被抓取才能生效，若被robots.txt屏蔽则根本无法读取该标签。
有区别，而且是根本性的：robots 是“建议别抓”，索引是“已经抓了并存库”——前者发生在爬取前，后者发生在爬取后。
robots 指令不等于禁止索引，只影响爬虫是否发起请求
很多开发者误以为加了 noindex 就能立刻让页面从搜索结果消失，其实不是。搜索引擎必须先成功抓取该页面（HTTP 200 + 可解析 HTML），才能读到 <meta name="robots" content="noindex"> 并执行它。如果页面本身被 robots.txt 屏蔽、返回 404/403、或被服务器拒绝访问，爬虫根本看不到这个标签，也就无从执行 noindex。
- 常见错误现象：
noindex加了但页面仍在搜索结果里，大概率是页面仍可被抓取（没被 robots.txt 拦住），但 Google 还没重新抓取并识别新指令 - 真实使用场景：临时下线活动页、A/B 测试分支页、用户生成但质量低的内容页
- 注意参数差异：
noindex, nofollow和noindex, follow对外链权重传递完全不同；后者允许爬虫顺着你页面里的链接继续发现新页面
索引是结果，不是动作；robots 是动作建议，不是结果保证
“被索引”意味着该 URL 已进入搜索引擎的倒排索引库，可参与关键词匹配和排序。“未索引”只说明当前不在库中，原因可能是：noindex 生效、抓取失败、内容重复、质量过低、或尚未完成首次抓取。而 robots 标签只是影响“是否尝试抓取”的众多信号之一，权重低于 X-Robots-Tag HTTP 头，更远低于服务器级拒绝（如 403）。
将调研报告、方案对比、数据分析、需求梳理、会议纪要、设计说明、代码评审、学习笔记等任务产物输出为可在浏览器直接打开的单文件 HTML，替代 Markdown 作为最终交付物。Markdown 在信息密度、视觉清晰度和可分享性上已跟不上 AI 产物的丰富度，HTML 能同时承载排版、表格、SVG 等。
- 性能影响：加
noindex不降低页面加载速度，但会阻止该页面为站内其他页面导流（除非同时用follow） - 兼容性注意：Bing、Yandex 都支持
noindex，但部分小众爬虫可能忽略；nosnippet在移动端搜索结果中有时仍显示部分文本 - 验证方式：用 Google Search Console 的「URL 检查」工具，看「索引状态」是否为「已排除」，并确认「排除原因」是否为「已标记为 noindex」
robots.txt 和 meta robots 混用时，优先级容易搞反
robots.txt 控制的是“能不能进门”，<meta name="robots"> 控制的是“进门后看不看、记不记”。如果 robots.txt 把某路径全封死（比如 Disallow: /private/），那即使那个目录下的页面写了 index,follow，爬虫也不会去请求，自然也读不到该指令。
立即学习“前端免费学习笔记（深入）”；
- 典型踩坑：在测试环境加了
noindex，但忘了同步更新robots.txt，导致测试页仍被大量抓取，浪费 crawl budget - 正确做法：生产环境敏感页优先用
robots.txt+ 服务端 403；需精细控制单页索引行为时，再叠加<meta name="robots"> - 特殊路径注意：
/robots.txt必须放在根目录，且文件名全小写；<meta>必须在<head>内，且不能动态 JS 注入（Google 不执行 JS 后才渲染的 robots meta）
真正难的不是写对标签，而是判断该用哪一层控制：是拦在门口（robots.txt）、拦在门内（meta robots）、还是拦在数据库出口（服务端响应头）——每层失效的表现和排查路径都不同，漏掉任意一层，就可能让本不该出现的页面留在搜索结果里很久。
