讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

SoundView
SoundView

字幕擦除翻译、配音口型同步

Nginx 缓存失效处理如何配置清理任务并发控制

星明大大_5079

星明大大_5079

发布时间:2026-11-20 14:43:22

|

653人浏览过

|

来源于php中文网

原创

通过配置 nginx 的 proxy_cache_path 目录结构并结合外部清理脚本,可以实现缓存失效处理及并发控制。核心做法是利用 nginx 的 proxy_cache_path 指令设置缓存目录,并配合使用 purge 模块或第三方工具(如 nginx-cache-purge)来触发特定资源的删除。对于批量清理和并发控制,通常不依赖 nginx 原生功能,而是编写一个基于文件系统操作的清理脚本(如 python 或 shell),该脚本通过限制同时运行的进程数或使用信号量来实现并发度控制,并定期扫描缓存目录中超过 ttl 的文件进行删除。

Nginx 缓存失效处理如何配置清理任务并发控制

如何配置 Nginx 基础缓存路径与过期策略

Nginx 本身提供基础的缓存管理,主要通过 proxy_cache_path 定义存储位置和 proxy_cache_valid 定义有效期。要配置基础缓存,需要在 http 块中声明缓存路径,并在 location 块中启用缓存。Nginx 不会自动删除文件,它只会在写入新数据时根据磁盘空间压力或特定的内部逻辑进行清理,或者在重启时清空。要实现主动清理,通常需要借助 naxsi 或 ngx_cache_purge 等模块提供的 HTTP 接口,或者使用文件系统级别的定时任务。

Nginx 缓存失效处理如何配置清理任务并发控制

Nginx Reverse Proxy
Nginx Reverse Proxy

配置 Nginx 反向代理,实现域名绑定。用户说“绑定域名”“配置 Nginx”“反向代理”时触发,将域名绑定到指定 IP:端口。

下载
server {
    listen 80;
    server_name example.com;

    # 定义缓存路径,levels=1:2 表示两级目录结构,便于分散文件
    # keys_zone=my_cache:10m 分配 10MB 内存用于存储键值对索引
    # max_size=1g 限制磁盘最大占用 1GB
    # inactive=60m 如果资源在 60 分钟内未被访问,则被标记为可清理
    proxy_cache_path /var/cache/nginx/my_cache levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off;

    location /api/ {
        proxy_pass http://backend_server;
        
        # 启用缓存
        proxy_cache my_cache;
        
        # 设置不同状态码的缓存时间
        proxy_cache_valid 200 302 10m;
        proxy_cache_valid 404 1m;
        
        # 添加缓存命中头部,便于调试
        add_header X-Cache-Status $upstream_cache_status;
    }
}

如何实现缓存文件的批量清理与并发控制

Nginx 原生不支持直接通过配置项来限制清理任务的并发线程数。因此,实现并发控制的正确做法是编写一个独立的清理脚本。该脚本负责遍历缓存目录,检查文件的修改时间是否超过设定的阈值(例如 inactive 参数定义的时间)。为了控制并发,可以使用 Python 的 concurrent.futures.ThreadPoolExecutor 或 ProcessPoolExecutor,通过 max_workers 参数明确限制同时执行删除操作的最大线程或进程数。这样可以防止在高负载下因大量 I/O 操作导致系统资源耗尽。脚本应定期以 cron 任务形式运行,或者作为守护进程常驻。

Nginx 缓存失效处理如何配置清理任务并发控制

import os
import time
import shutil
from concurrent.futures import ThreadPoolExecutor, as_completed

CACHE_DIR = '/var/cache/nginx/my_cache'
MAX_AGE_SECONDS = 3600  # 1小时
MAX_WORKERS = 5         # 并发控制:最多同时删除5个文件或目录

def delete_if_expired(file_path):
    """检查文件是否过期并删除"""
    try:
        if os.path.isfile(file_path):
            if time.time() - os.path.getmtime(file_path) > MAX_AGE_SECONDS:
                os.remove(file_path)
                print(f"Deleted expired file: {file_path}")
        elif os.path.isdir(file_path):
            # 如果是空目录,可以一并删除以保持目录结构整洁
            if not os.listdir(file_path):
                os.rmdir(file_path)
                print(f"Deleted empty directory: {file_path}")
    except Exception as e:
        print(f"Error processing {file_path}: {e}")

def clean_cache():
    """主清理函数,使用线程池控制并发"""
    files_to_process = []
    for root, dirs, files in os.walk(CACHE_DIR):
        for file in files:
            files_to_process.append(os.path.join(root, file))
        for dir in dirs:
            files_to_process.append(os.path.join(root, dir))

    # 使用 ThreadPoolExecutor 限制并发数
    with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
        futures = [executor.submit(delete_if_expired, f) for f in files_to_process]
        for future in as_completed(futures):
            pass  # 等待所有任务完成

if __name__ == '__main__':
    clean_cache()

当缓存目录中存在大量小文件时清理性能如何优化

当缓存目录中存在大量小文件时,Python 脚本逐个调用 os.remove 会产生显著的 I/O 开销和上下文切换成本。优化这一过程的关键在于减少系统调用次数。一种有效的方法是先收集所有待删除的文件路径,然后使用 shutil.rmtree 按目录层级批量删除,或者使用操作系统原生的 find 命令结合 -delete 选项,因为 find 是在内核层面高效遍历的。此外,可以将并发控制从应用层移至系统层,例如使用 Linux 的 cgroups 限制清理进程的 CPU 和 I/O 权重,或者使用 ionice 降低清理任务的 I/O 优先级,从而避免影响正常的 Nginx 服务。在实际操作中,建议先测试少量文件的删除速度,再逐步扩大范围,确保清理任务不会对生产环境造成冲击。

热门AI工具

更多
音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

423

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4387

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

7365

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

601

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1516

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

4018

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

122

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

617

2026.01.13

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

0

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn