Nginx + Keepalived 构建高可用日志采集分发集群，Nginx 作为无状态 TCP/UDP 流量调度器（非解析器），Keepalived 提供 VIP 漂移保障入口高可用；stream 模块支持哈希负载、TLS 透传及健康检查，后端对接 Kafka 等需中间件适配。
用 Nginx + Keepalived 搭建日志采集与分发集群，核心不是让 Nginx 做日志解析，而是把它作为高性能、低延迟的 TCP/UDP 代理层，把原始日志流（如 Syslog、Fluentd、Logstash 的 forwarder 输出）统一接入并按需分发到后端日志处理节点（如 Kafka、Elasticsearch、Loki 或自研接收服务），Keepalived 则保障这个入口的高可用和 IP 漂移能力。
明确角色分工：Nginx 是“日志流量调度器”，不是日志处理器
Nginx 本身不解析或存储日志，但其 stream 模块（需编译启用或使用主流发行版自带版本）可高效代理 TCP/UDP 流量，吞吐远高于 HTTP 层代理。典型场景是：
- 设备/应用直接发 UDP 514（Syslog）或 TCP 601 到 VIP，Nginx stream 转发到多个 Syslog 服务器
- Fluent Bit 用 forward 协议（TCP）推日志到 VIP，Nginx 按连接或 IP 哈希负载到多台 Fluentd/Vector 节点
- 需要 TLS 加密传输时，Nginx stream 支持 ssl_preread，可透传 SNI 或终止 TLS 后转发
配置 Nginx stream 实现无状态日志分发
在 nginx.conf 的顶层（不在 http 块内）添加 stream 块：
stream {
upstream syslog_backend {
hash $remote_addr consistent; # 按客户端 IP 哈希，保证同一设备日志不乱序
server 192.168.10.10:514;
server 192.168.10.11:514;
server 192.168.10.12:514;
}
<pre class="brush:php;toolbar:false;">server {
listen 514 udp;
proxy_pass syslog_backend;
proxy_timeout 1s;
proxy_responses 1;
}
server {
listen 601;
proxy_pass syslog_backend;
proxy_timeout 3s;
}}
关键点：
- UDP 日志必须设 proxy_responses 1，否则 Nginx 不响应 client，部分 syslog 客户端会重发
- 避免用轮询（round-robin），日志顺序敏感场景优先选 hash $remote_addr 或 least_conn
- 若后端是 Kafka，Nginx 不能直接代理 Kafka 协议（非纯 TCP 转发），需改用 Kafka REST Proxy 或用 Vector/NATS 等中间件
Keepalived 提供虚拟 IP 高可用，避免单点故障
两台（或以上） Nginx 服务器部署 Keepalived，共享一个 VIP（如 192.168.10.100），对外暴露统一入口。主节点挂掉时，VIP 自动漂移到备节点，客户端无感知。
Keepalived 配置示例（/etc/keepalived/keepalived.conf）：
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass mypass
}
virtual_ipaddress {
192.168.10.100/24
}
track_script {
chk_nginx
}
}
<p>vrrp_script chk_nginx {
script "/usr/bin/pgrep nginx > /dev/null"
interval 2
fall 2
rise 2
}注意：
- 确保两台机器时间同步（chrony/ntpd），否则 VRRP 报文可能被丢弃
- 防火墙放行 VRRP 组播（224.0.0.18）和对应端口（514/601）
- 健康检查脚本建议增强：不只是检测 nginx 进程，还可加 curl -s http://127.0.0.1:8080/health（Nginx 可配 status 模块）
补充建议：提升可靠性与可观测性
生产环境不能只靠 VIP + 转发，还需配套机制：
- 日志缓冲：Nginx 无法缓存 UDP 包，建议在后端接收节点前加 Kafka 或 Pulsar，应对突发流量和后端抖动
- 连接限速与熔断：Nginx stream 支持 limit_conn，防止单个客户端打爆代理；配合 keepalived 的 notify_master 脚本可触发告警
- 访问审计：开启 Nginx stream 的 log_format 和 access_log（需 patch 或用开源增强版），记录来源 IP、目标、字节数
- 不要跳过 TLS：若日志含敏感字段，用 stunnel 或 Nginx stream + ssl_preread + backend TLS 终止，避免明文传输
这套架构轻量、成熟、资源占用低，适合日均 TB 级以下的日志入口层。真正复杂的过滤、富化、路由逻辑，应交给下游专用日志处理组件完成，Nginx 只做它最擅长的事：稳定、快速、可靠地把数据流送过去。
