noindex,follow比noindex,nofollow更易漏权重风险，因其要求页面可被抓取且meta标签静态写入head中，否则爬虫无法识别；而rel="nofollow"与meta中nofollow效果完全不同，后者对现代爬虫基本无效。
noindex,follow 为什么比 noindex,nofollow 更容易漏掉权重传递风险
很多人以为加了 noindex 就万事大吉，结果发现首页权重没传到分页页、筛选页也长期不被收录——问题出在 noindex,follow 没配对，或配了却失效。
关键不是“写了”，而是“爬虫真看到了、真执行了”。noindex,follow 的作用是：当前页不进搜索结果，但页面里所有 <a href> 链接仍可被爬虫提取并排队抓取。这要求两个前提同时成立：
- 页面必须能被正常抓取（
robots.txt不能Disallow该路径） -
<meta name="robots" content="noindex,follow">必须静态写死在服务端输出的 HTML<head>最前面，且拼写全小写、无空格、无中文标点
常见翻车点：/blog?page=2 页面用了 Vue 动态注入 meta 标签 → 爬虫抓到的是空 <head>，根本看不到指令；或者 CDN 缓存了未带该标签的旧 HTML 版本。
rel="nofollow" 和 meta robots 中的 nofollow 完全不是一回事
你在页面里给某个外链加了 rel="nofollow"，和你在 <meta name="robots" content="nofollow"> 里写的 nofollow，对搜索引擎的影响层级完全不同。
立即学习“前端免费学习笔记（深入）”；
前者是粒度精确到单个链接的声明，Google 明确认可并用于链接权重过滤；后者是整页级别的弱建议，对现代爬虫（尤其是 Googlebot）基本不起作用——它不会阻止爬虫顺着你页面里的任何链接往外爬，更不会影响 PageRank 分配。
所以别指望靠 content="noindex,nofollow" 来“封死”登录页上的「帮助中心」链接。真正要切断权重流向，必须：
- 要么把那个链接本身加上
rel="nofollow" - 要么把整个页设为
noindex,nofollow，并确保它没被其他高权重页面大量内链 - 要么在服务端路由层直接不渲染该链接（比如登录态用户才看到「帮助中心」，而爬虫永远拿不到这个 DOM）
SPA 路由页怎么让不同 URL 返回不同的 robots 指令
纯前端路由（如 React Router / Vue Router 默认模式）下，所有路由都返回同一份初始 HTML，<meta name="robots"> 只能写死一个值。这意味着 /admin 和 /blog 共享同一个 meta 标签——你没法靠它区分控制。
唯一可靠方案是服务端根据请求路径，在 HTTP 响应头中动态设置 X-Robots-Tag：
GET /admin/login HTTP/1.1 X-Robots-Tag: noindex, nofollow GET /blog/2024/06/12 HTTP/1.1 X-Robots-Tag: index, follow
注意三点：
-
X-Robots-Tag优先级高于 HTML 中的meta标签，且适用于 PDF、JSON、图片等非 HTML 资源 - 必须由服务端（Nginx / Express / Next.js SSR 等）按路径判断后注入，不能靠前端 JS 设置
- CDN 或反向代理若缓存了带
X-Robots-Tag: noindex的响应，撤掉指令后可能长期残留，需主动 purge 缓存
robots.txt 和 meta robots 冲突时，权重流向实际由谁决定
假设你在 robots.txt 里写了 Disallow: /search，但 /search?q=xxx 页面 HTML 里又写了 <meta name="robots" content="noindex,follow"> ——那么所有内链的权重传递，从一开始就被掐断了。
因为 robots.txt 是门禁，meta robots 是进门后的便条。门关着，便条没人读。爬虫根本不会去请求 /search 页面，自然也看不到里面的 <a href="/product/123">，更谈不上顺着它去抓取商品页。
所以对权重敏感的路径（比如搜索结果页、用户中心），不能只靠 meta 控制，必须检查两层：
- 是否被
robots.txt拦在门外（Disallow） - 是否在 HTML 中正确声明
noindex,follow（且服务端真实输出）
最易被忽略的细节：即使页面已上线数月，只要某天 robots.txt 临时加了一条 Disallow 规则，所有依赖该页做入口的子页面，权重流动就会立刻中断——而且你从 Search Console 里几乎看不出异常，因为爬虫日志里压根没有这条请求记录。
