Nginx 支持 AI 流式输出需精准设置 proxy_read_timeout 并协同调优：仅控制响应头后数据块间空闲超时，须按路径单独配置、匹配 P95 延迟×1.3～1.5，同步调整 proxy_send_timeout、send_timeout、keepalive 及关闭缓冲。
要让 Nginx 正确支持 AI 大模型的流式输出（如 SSE 或 chunked JSON 响应），proxy_read_timeout 不能简单设大，而必须精准匹配流式行为特征，并配合其他关键参数协同调优。
明确 proxy_read_timeout 的作用边界
它只控制这一段：后端已返回响应头（例如 HTTP/1.1 200 OK 和 Content-Type: text/event-stream）之后，Nginx 等待第一个响应体数据块、或两个数据块之间空闲时间的最大阈值。超时即断连，返回 504。
它不负责：
- TCP 连接建立（那是
proxy_connect_timeout） - Nginx 向后端发送完整请求体（那是
proxy_send_timeout） - Nginx 向客户端传输响应数据（那是
send_timeout） - 客户端上传过程、WebSocket 握手、OPTIONS 预检
AI 流式接口常见表现是首 token 延迟低（几百毫秒），但后续 token 间隔波动大（尤其在长思考、多 step 推理时）。若设太小（如默认 60 秒），SSE 流常在第 3–5 秒无新 event 时被误杀；设太大（如 86400）又掩盖真实问题，且占用连接资源。
按流式路径单独配置 location
不要在 http 或 server 级全局设置。AI 流式接口通常有明确路径标识，例如：
-
/v1/chat/completions（OpenAI 兼容接口，带stream=true） /api/infer/stream/sse/generate
为这些路径单独写 location 块，参考近期监控中该路径的 P95 延迟 × 1.3～1.5。例如实测 P95 为 42 秒 → 设 proxy_read_timeout 60（取整便于排查）。
必须同步调整的三个关联参数
单改 proxy_read_timeout 效果有限，甚至引发新错误：
-
proxy_send_timeout≥ 所设值：防止大 prompt（含 base64 图片、长 history）还没发完，Nginx 就中断请求 -
send_timeout≥ 所设值：确保弱网用户接收 SSE 流时，Nginx 不因客户端接收慢而断开连接 - upstream 中启用
keepalive 32，并在 location 中配proxy_http_version 1.1和proxy_set_header Connection ''：复用连接，避免频繁握手拖慢首 token
关闭缓冲，直通流式数据
流式输出要求“边生成边推送”，Nginx 默认缓存机制会破坏实时性：
- 必须加
proxy_buffering off - 建议加
proxy_request_buffering off（防止 Nginx 缓存整个 POST body 再转发，影响首 token 延迟） - 可选：
proxy_buffer_size 4k（初始 header 缓冲）、proxy_busy_buffers_size 16k（避免小 buffer 频繁拷贝）
典型配置示例：
location ^~/v1/chat/completions {
proxy_pass http://llm_backend;
proxy_read_timeout 60;
proxy_send_timeout 60;
send_timeout 60;
proxy_buffering off;
proxy_request_buffering off;
proxy_http_version 1.1;
proxy_set_header Connection '';
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
