Nginx server块中通过精准识别爬虫、精简响应内容、按UA分流资源、强化robots.txt与X-Robots-Tag控制、限制低价值爬虫，可提升抓取效率与索引质量。
直接在 Nginx 的 server 块中做针对性配置，能显著提升爬虫抓取效率与索引质量。关键不在于“拦截”或“伪装”，而在于精准响应、内容分发与资源控制。
识别并精简爬虫响应内容
主流爬虫（如 Googlebot、Bingbot）通过 User-Agent 标识自身。可在 server 块顶部用 map 指令建立识别规则：
- 定义变量
$is_crawler，匹配常见爬虫 UA 字符串 - 在对应
location中启用sub_filter，移除非必要 HTML 内容（如广告 div、冗余 JS 脚本） - 只保留搜索引擎最关注的字段：
<title>、<meta name="description">、<script type="application/ld+json"> - 添加响应头：
add_header X-Robots-Tag "max-snippet:150; max-image-preview:large"，主动约束摘要长度和图片预览策略
按爬虫类型分流静态资源
移动端爬虫（如 Googlebot-Mobile）与桌面端爬虫对资源适配要求不同，可通过 UA 判断实现差异化服务：
- 用
if ($http_user_agent ~* "Googlebot-Mobile") { ... }区分请求类型 - 将
/static/下的 CSS/JS 请求重写至/static/mobile/或/static/desktop/目录 - 对爬虫请求禁用 WebP 自适应（避免旧版爬虫解析失败），统一返回
.png或.jpg - 关闭 ETag 和 Last-Modified 头，改用固定缓存策略：
add_header Cache-Control "public, max-age=3600"
强化 robots.txt 与索引控制协同
robots.txt 是入口，但不能依赖它单点控制。需在 server 块中补强逻辑：
- 用
location = /robots.txt配合try_files或proxy_pass，动态生成规则（例如：测试环境返回全 disallow，生产环境放行核心路径） - 对明确不希望被索引的页面（如 /admin、/preview），统一注入响应头：
add_header X-Robots-Tag "noindex, nofollow"—— 比 HTML meta 更早生效且不可绕过 - 为高频访问的
/sitemap.xml启用gzip_static on并设置长缓存，减少重复生成压力
限制低价值爬虫行为
并非所有爬虫都值得同等对待。可对已知低价值 SEO 工具类爬虫做轻量级限流：
- 用正则匹配常见工具爬虫 UA（如 AhrefsBot、SemrushBot、MJ12bot）
- 对其启用
limit_req，设定较低速率（如每分钟 5 次） - 超限时返回
429 Too Many Requests，避免耗尽连接池或触发后端重试风暴
