核心是让worker永不等待磁盘,必须同时满足:sendfile off、directio≥文件阈值、aio threads=指定池名、文件走open/read路径;线程池需按存储类型精调,SSD设48–64线程,HDD/NFS设24–32,max_queue=8192为安全起点,且须命名隔离;directio需匹配文件大小与512B对齐要求;验证看worker S态<5%及线程池等待<10ms。

要彻底杜绝超大静态资产(如视频、安装包、镜像文件)分发时主 worker 进程瞬间假死,核心不是“加速读”,而是让 worker 永远不等磁盘——aio 线程池 + directio 是唯一能切断阻塞链的组合,但必须四点同时满足,缺一不可。
必须同时启用的四个硬性条件
光开 aio 或配 thread_pool 都无效,以下四项是触发路径的“与门”:
- sendfile off:内核零拷贝会跳过用户态 read,线程池完全无法介入;必须显式关闭
-
directio ≥ 文件实际大小阈值:例如
directio 8m,仅对 ≥8MB 的文件强制走 O_DIRECT 路径,绕过 page cache,逼出 aio 真实工作流 -
aio threads=指定池名:不能只写
aio on或aio threads,必须绑定已在 main 块定义的线程池,如aio threads=static_io - 文件真实走 open/read 路径:alias、root 返回静态文件、proxy_cache 未命中、gzip_static off 读 .gz 等场景才生效;SSL 证书加载、access_log 写入等不在此列
thread_pool 参数必须按磁盘能力精调
线程池不是越大越好,盲目设 128 线程反而引发上下文切换雪崩:
- threads 数量:SSD 建议 48~64;HDD 或 NFS 后端建议 24~32;超过 64 易导致内核调度开销反超 I/O 收益
-
max_queue 必须有界且可测:设为 8192 是安全起点;若 error_log 中频繁出现
aio thread queue full,说明队列已溢出,应优先检查磁盘 await 是否持续 >2×svctm,而非直接加队列 -
必须命名隔离:为大文件分发单独建池,如
thread_pool static_io threads=64 max_queue=8192;,避免与 cache_io 或 log_io 混用
directio 配置需匹配文件特征与对齐要求
O_DIRECT 对地址、偏移、长度三者均要求 512B 对齐,否则 aio 直接失败回退同步读:
- 在 location 中显式设置
directio 8m;(非 4m),适配常见超大资产如 ISO/DMG/MP4 - 搭配
open_file_cache max=500 inactive=60s;减少反复 open() 开销,但注意:cache 命中后不走 directio,因此该策略专用于 cache miss 场景 - 禁用
gzip_static on(若启用,.gz 文件由 gzip_static 处理,绕过 aio);如需压缩,改用 application/gzip 响应头配合后端预压缩
验证是否真正生效的两个关键信号
别依赖 QPS 提升或日志“aio enabled”,盯住系统级指标:
-
worker 进程 S 态占比 <5%:用
pidstat -p $(pgrep nginx) 1观察,开启前若常驻 30%+,开启后稳定在 3%~5%,说明 I/O 已卸载 - 线程池任务等待时间 <10ms:开源版可通过自定义日志记录入队时间戳与回调时间戳差值;若 P95 >15ms,说明磁盘吞吐已达瓶颈,需扩容存储或限流


















