需通过Nginx实现请求分发与服务冗余：一、配置upstream定义后端服务组；二、设置反向代理location规则；三、启用健康检查与失败重试；四、选择并配置负载均衡算法；五、启用SSL终止与HTTP/2支持。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您正在部署高可用AI服务，但单台后端模型服务器无法承受突发流量或存在单点故障风险，则需通过Nginx实现请求分发与服务冗余。以下是配置Nginx反向代理与负载均衡的具体方法：
一、配置upstream定义后端服务组
该步骤用于声明一组AI服务节点，为后续代理和调度提供目标池。Nginx通过upstream块统一管理后端地址、健康状态与权重，是负载均衡的基础结构。
1、打开Nginx主配置文件nginx.conf，定位到http块内（位于events块之后、server块之前）。
2、在http块中添加upstream定义，例如命名为ai_backend：
3、在upstream块中列出所有AI服务实例的IP与端口，例如：server 192.168.10.101:8000 weight=3 max_fails=2 fail_timeout=10s;
4、继续添加其他节点，如：server 192.168.10.102:8000 weight=3 max_fails=2 fail_timeout=10s;
5、可选：加入备用节点，仅在主节点全部失效时启用：server 192.168.10.103:8000 backup;
二、设置反向代理location规则
此步骤将客户端对AI服务API的请求（如/v1/chat/completions）统一转发至upstream定义的服务组，并透传关键请求头以保障身份识别与链路追踪。
1、在同一个http块内，找到或新增一个server块，监听对外端口（如80或443）。
2、在server块中添加location /v1/ 匹配所有AI接口路径：
3、在location内配置proxy_pass指向upstream名称：proxy_pass http://ai_backend;
4、添加必要头信息透传：proxy_set_header Host $host;
5、添加真实客户端IP传递：proxy_set_header X-Real-IP $remote_addr;
6、添加代理链路标识：proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
三、启用健康检查与失败重试机制
该步骤确保Nginx能自动屏蔽不可用的AI服务节点，避免将请求持续发送至已宕机或响应超时的实例，从而提升整体服务可用性。
1、在upstream块中为每个server添加max_fails与fail_timeout参数，例如：max_fails=3 fail_timeout=30s;
2、在对应location块中启用失败后重试逻辑：proxy_next_upstream error timeout http_502 http_503 http_504;
3、设置与后端建立连接的超时阈值：proxy_connect_timeout 3s;
4、设置等待后端响应的读取超时：proxy_read_timeout 60s;
5、设置向后端发送请求体的写入超时：proxy_send_timeout 30s;
四、选择并配置负载均衡算法
不同AI服务场景对调度策略敏感度不同：长连接推理任务适合最少连接数，会话保持型服务依赖IP哈希，而无状态批量请求适用加权轮询。Nginx支持多种内置算法，需根据实际部署模型服务特性选择。
1、若采用加权轮询（默认），无需额外声明，直接在upstream中设置weight即可。
2、若需按客户端IP固定路由（如维持LLM会话上下文），在upstream开头添加：ip_hash;
3、若AI服务响应时间差异大且连接耗时较长，启用最少连接调度：least_conn;
4、若需基于请求URI做一致性哈希分发（如相同prompt始终命中同一模型实例），启用url_hash：hash $request_uri consistent;
5、验证算法生效：使用curl多次请求，观察后端access日志中各节点接收请求数是否符合预期分布。
五、启用SSL终止与HTTP/2支持
AI服务通常通过HTTPS暴露给外部调用方，Nginx作为边缘代理应承担证书卸载职责，并启用HTTP/2以降低延迟、提升并发吞吐能力，尤其适用于流式响应（如SSE或gRPC-Web）场景。
1、在server块中将listen指令改为：listen 443 ssl http2;
2、配置证书路径：ssl_certificate /etc/nginx/ssl/ai-service.crt;
3、配置私钥路径：ssl_certificate_key /etc/nginx/ssl/ai-service.key;
4、启用TLS安全协议：ssl_protocols TLSv1.2 TLSv1.3;
5、添加HSTS头强制HTTPS访问：add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
