讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux 怎么配置 Nginx 阻止恶意的 User-Agent 抓取

酷墨姑娘_3845

酷墨姑娘_3845

发布时间:2026-08-07 06:40:11

|

654人浏览过

|

来源于php中文网

原创

Nginx拦截恶意User-Agent需科学配置:用map在http块预定义黑名单并处理空UA,if规则置于server顶层,配合限流、robots.txt及自定义日志。

linux 怎么配置 nginx 阻止恶意的 user-agent 抓取

直接在 Nginx 配置里拦截恶意 User-Agent 是最轻量、见效快的反爬手段,但单靠它容易误杀或漏拦。关键不是“加几行正则”,而是把匹配逻辑、执行位置、兜底策略都配对。

用 map 预定义黑名单,避免重复编译

把 UA 黑名单统一放在 http 块 里,用 map 指令映射为一个变量,既高效又易维护:

  • 空 UA 和空白字符串必须单独处理:~*^$ 和 ~*^[[:space:]]*$
  • 大小写不敏感匹配用 ~*,比如 ~*sqlmap、~*(python-requests|urllib)
  • 常见恶意工具名要列全:nikto、dirbuster、acunetix、SemrushBot、AhrefsBot、Bytespider、ZmEu、MJ12bot 等
  • 默认值设为 0,命中才设为 1,方便后续 if 判断

if 规则必须写在 server 块顶层

不能塞进 location 里——Nginx 的 if 在 location 内部是“伪生效”,官方明确不推荐嵌套。正确位置是:server { 后、所有 location { 前:

Linux Ai Server
Linux Ai Server

Linux AI 服务器 — 将 Linux 服务器转换为本地 AI 推理集群。使用 systemd、NVIDIA CUDA 实现无头 Linux AI,零 GUI 开销。

下载
  • 写成 if ($blocked_ua) { return 403; } 即可,简洁可靠
  • 空 UA 要额外补一条:if ($http_user_agent = "") { return 403; }(正则匹配不到空串)
  • 如果只拦部分路径(如后台接口),也别把 if 放进 location,而是用变量+条件判断,保持执行顺序可控

配合限流和 robots.txt 才算完整

只封 UA 只能挡住“懒爬虫”,真正耗资源的是高频请求。必须加限流:

  • 在 http 块定义限流区:limit_req_zone $binary_remote_addr zone=ip_limit:10m rate=5r/s;
  • 在 server 或 location 中启用:limit_req zone=ip_limit burst=10 nodelay;
  • robots.txt 要精确匹配:location = /robots.txt,内容按“具体 UA → 泛化 UA”顺序写,末尾加 User-Agent: * 和 Disallow: /

加日志方便排查误拦

拦截后看不到效果?加一条自定义日志格式,专门记录被拦的 UA:

  • 定义日志格式:log_format blocked_ua '$remote_addr - $remote_user [$time_local] "$request" $status "$http_user_agent"';
  • 指定日志文件:access_log /var/log/nginx/blocked-ua.log blocked_ua;
  • 重启前务必 nginx -t 校验,再 nginx -s reload 平滑生效

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

403

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3707

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

6465

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

581

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1496

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3978

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

122

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

497

2026.01.13

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn