讲师中心 微信公众号
AI工具推荐 视频效率加速

Apache 怎么使用 Include 配置引入第三方反爬虫黑名单

冬静大大_5988

冬静大大_5988

发布时间:2026-07-25 13:36:00

|

202人浏览过

|

来源于php中文网

原创

Apache可通过Include指令动态加载外部UA黑名单文件,需用SetEnvIfNoCase定义环境变量并配合Require not env(2.4+)或Deny from env(2.2–2.3)实现拦截,路径、权限、语法须合规,支持自动更新。

apache 怎么使用 include 配置引入第三方反爬虫黑名单

Apache 可以通过 Include 指令将外部黑名单文件(如第三方维护的 UA 黑名单)动态加载进主配置,实现集中管理、便于更新,且避免直接修改核心配置文件。关键在于路径正确、语法合规、权限合理,并确保 Apache 有读取权限。

一、准备第三方黑名单文件

新建一个纯文本文件(例如 /etc/apache2/blacklists/bad-ua.conf),内容为标准 Apache 指令格式,推荐使用 SetEnvIfNoCase + Deny from env= 或 Require not env(Apache 2.4+):

  • 示例内容(支持正则、忽略大小写):
SetEnvIfNoCase User-Agent "(AhrefsBot|MJ12bot|EasouSpider|ZmEu|oBot|python-requests/|go-http-client|masscan|sqlmap)" BAD_UA
SetEnvIfNoCase User-Agent "(FeedDemon|Indy Library|HttpClient|heritrix)" BAD_UA
  • 注意:不要包含 RewriteEngine 或 <Directory> 等嵌套块;只放环境变量设置和授权相关指令。
  • 建议用 ^ 或边界符(如 python-requests/ 而非 python)减少误匹配。

二、在主配置中用 Include 加载

在站点配置(如 /etc/apache2/sites-enabled/000-default.conf)或全局模块配置(如 /etc/apache2/mods-enabled/security2.conf)中,插入 Include 指令:

Apache Superset Dashboard and SQL Exploration Skill
Apache Superset Dashboard and SQL Exploration Skill

Apache Superset 是一个广泛采用的开源 BI 平台,用于 SQL 探索、图表构建和仪表板交付。当代理需要查询仓库数据、组装仪表板或使用成熟的分析界面解释指标而不是临时笔记本代码时,此技能非常有用。

下载
  • Apache 2.2–2.3(旧版)写法:
<Directory "/var/www/html">
    AllowOverride All
    Order Allow,Deny
    Allow from all
    Deny from env=BAD_UA
</Directory>
<p>Include /etc/apache2/blacklists/bad-ua.conf
  • Apache 2.4+(推荐)必须搭配 Require 语法:
<Directory "/var/www/html">
    Require all granted
    Require not env BAD_UA
</Directory>
<p>Include /etc/apache2/blacklists/bad-ua.conf
  • Include 行可放在 <Directory> 外部,只要在生效作用域内即可;顺序不影响环境变量定义(SetEnvIfNoCase 是全局生效的)。
  • 路径支持通配符,如 Include /etc/apache2/blacklists/*.conf,方便按类型拆分规则。

三、权限与验证要点

确保 Apache 进程能读取该文件,否则启动失败或静默失效:

  • 文件属主建议设为 root:www-data(Debian/Ubuntu)或 root:apache(CentOS/RHEL)
  • 权限设为 644(rw-r--r--),禁止 world-writable
  • 执行 sudo apachectl configtest 验证语法;若报错 “Could not open include” 或 “Permission denied”,检查路径拼写与 SELinux/AppArmor 策略
  • 重启服务后,用 curl -H "User-Agent: AhrefsBot/7.0" -I https://yoursite.com/ 测试是否返回 403 Forbidden

四、配合自动更新更实用

很多开源项目(如 apache-ultimate-bad-bot-blocker)提供定期更新的黑名单脚本。可结合 cron 自动拉取:

  • 例如每天凌晨更新:0 3 * * * wget -qO /etc/apache2/blacklists/bad-ua.conf https://raw.githubusercontent.com/xxx/bot-list/master/apache-bad-ua.conf && systemctl reload apache2
  • 注意:远程文件必须是纯 Apache 指令格式,不含 HTML/Markdown 或注释行(Apache 不解析 # 行)
  • 建议先本地测试再上线,避免因第三方内容变更导致服务异常

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
apache是什么意思
apache是什么意思

Apache是Apache HTTP Server的简称,是一个开源的Web服务器软件。是目前全球使用最广泛的Web服务器软件之一,由Apache软件基金会开发和维护,Apache具有稳定、安全和高性能的特点,得益于其成熟的开发和广泛的应用实践,被广泛用于托管网站、搭建Web应用程序、构建Web服务和代理等场景。本专题为大家提供了Apache相关的各种文章、以及下载和课程,希望对各位有所帮助。

1135

2023.08.23

apache启动失败
apache启动失败

Apache启动失败可能有多种原因。需要检查日志文件、检查配置文件等等。想了解更多apache启动的相关内容,可以阅读本专题下面的文章。

12573

2024.01.16

Java 流式处理与 Apache Kafka 实战
Java 流式处理与 Apache Kafka 实战

本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用,系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控,结合实际业务场景,帮助开发者构建 高吞吐量、低延迟的实时数据流管道,实现高效的数据流转与处理。

650

2026.02.04

XAMPP Apache 与 MySQL 核心配置实战
XAMPP Apache 与 MySQL 核心配置实战

深入讲解 XAMPP 中 Apache 和 MySQL 的核心配置技巧,包括 httpd.conf 端口修改、虚拟主机(VirtualHost)多站点配置、MySQL 用户权限管理与远程连接设置、php.ini 关键参数调优,以及 SSL 证书的本地配置方法,适合有一定基础的开发者进阶使用。

445

2026.04.08

phpEnv Nginx 与 Apache 深度配置
phpEnv Nginx 与 Apache 深度配置

深入讲解 phpEnv 内置的 Nginx 与 Apache 两大 Web 服务器的配置技巧,涵盖 Nginx 与 Apache 的切换使用与场景对比、nginx.conf / httpd.conf 核心配置文件解读、反向代理与负载均衡本地模拟、Gzip 压缩与浏览器缓存策略配置、连接数/超时时间/Worker 进程等性能参数调优、访问日志与错误日志的路径管理与分析方法,帮助开发者在本地环境中模拟接近生产级的服务器配置。

636

2026.04.23

Apache Web Server 入门到生产部署实战指南
Apache Web Server 入门到生产部署实战指南

本指南带你从零开始,全面掌握 Apache Web Server 的入门与生产环境部署。内容涵盖在 Linux(Ubuntu/CentOS)系统下的快速安装与基础运维,深入解析核心配置文件、虚拟主机搭建及多站点管理。同时,结合实战讲解 HTTPS 安全加密、Let's Encrypt 证书配置、性能调优与服务器安全加固,助你快速构建稳定、高效且安全的企业级 Web 服务。

174

2026.05.12

Apache 开发与文件配置指南
Apache 开发与文件配置指南

本指南专为希望深入掌握 Apache 服务器的开发者与运维人员打造。内容从核心配置文件(httpd.conf)的语法架构出发,全面解析虚拟主机、访问控制与日志管理等基础配置。进阶部分聚焦 mod_rewrite 重写规则、自定义模块开发及 MPM 性能调优,结合 HTTPS 安全加固与生产环境故障排查实战,助你构建高并发、高可用的企业级 Web 服务架构。

203

2026.05.12

Apache 企业级应用与运维实践
Apache 企业级应用与运维实践

本指南聚焦Apache服务器在企业环境中的核心应用,提供从基础运维到高可用架构的实战解决方案。内容涵盖生产环境部署规范、安全加固策略、日志审计分析及故障应急处理,深入讲解负载均衡、缓存优化与监控体系构建。结合真实案例,助运维人员打造稳定、高效且可扩展的企业级Web服务平台。

161

2026.05.12

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Apache Maven 官方安装指南
Apache Maven 官方安装指南

共0课时 | 0人学习

Apache Maven 官方用户中心
Apache Maven 官方用户中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn