通过 robots.txt 文件中的 disallow: /$ 规则，可精准阻止搜索引擎抓取网站首页（如 https://example.com/），同时放行所有子路径（如 /about、/blog 等），实现精细化爬虫控制。
通过 robots.txt 文件中的 disallow: /$ 规则，可精准阻止搜索引擎抓取网站首页（如 https://example.com/），同时放行所有子路径（如 /about、/blog 等），实现精细化爬虫控制。
要仅禁止网络爬虫访问网站首页（即根路径 /），同时允许所有其他页面（如 /about、/products/item1、/blog/2024 等）被正常抓取，关键在于利用 robots.txt 的正则匹配扩展语法——特别是 $ 锚点符号，它表示 URL 路径的结尾。
标准 robots.txt 协议本身不支持完整正则表达式，但主流搜索引擎（Google、Bing、Yandex 等）均支持 *（通配符）和 $（行尾锚定）这两个扩展符号。其中 $ 是实现“精确匹配根路径”的核心：
- Disallow: / → 匹配所有以 / 开头的路径（即整个站点），完全禁止所有页面，显然不符合需求；
- Disallow: /$ → 仅匹配以 / 结尾的 URL，即 https://example.com/（不含任何后续路径），而 /about、/ 后带任何字符的路径均不匹配，因此全部放行。
✅ 正确写法（简洁且兼容主流爬虫）：
User-agent: * Disallow: /$
⚠️ 注意事项：
- 不需要重复声明 User-agent 或添加空 Disallow: 行——多余规则可能引发解析歧义；
- 确保该规则位于 robots.txt 文件顶部或至少在相关 User-agent 段落内；
- 修改后需通过 Google Search Console 的 robots.txt 测试工具验证匹配效果；
- $ 并非所有老旧爬虫都支持，但 Googlebot、Bingbot 等现代主流爬虫均可靠识别；
- 若需兼容极少数不支持 $ 的爬虫，可补充 Disallow: /index.html 和 Disallow: /index.php（视实际首页文件而定），但 / 的 $ 匹配仍是首选方案。
总结：Disallow: /$ 是语义清晰、配置简洁、广泛支持的标准解法，精准实现“仅屏蔽首页、开放全站其余内容”的 SEO 爬虫策略。
