Fluent Bit 是云原生环境下采集 Nginx 日志的最优解：轻量、自动发现容器日志、原生支持结构化解析与 Kubernetes 元数据注入，并可按需过滤、脱敏、增强后可靠输出至 Loki/Kafka/ES。
在云原生环境里，Nginx 日志收集的关键不是“能不能采”，而是“怎么采得稳、结构化得准、资源占得少”。Fluent Bit 是当前 Kubernetes 场景下最匹配的选择——它轻量（单实例约 1MB 内存）、原生支持容器日志路径发现、解析能力强，且能无缝对接 Loki、ES、Kafka 等后端。
让 Fluent Bit 自动捕获 Nginx 容器日志
不用改 Nginx 配置，也不用挂载日志卷。只要 Nginx 容器把 access_log 和 error_log 输出到 stdout/stderr（推荐方式），Fluent Bit 就能自动采集：
- 以 DaemonSet 方式部署 Fluent Bit，每个节点运行一个实例
- 启用
tail输入插件，监听/var/log/containers/*.log或/dev/stdout（取决于容器运行时） - 通过 Kubernetes filter 自动注入 Pod 名、Namespace、Container Name 等元标签
- 设置
DB路径为持久化存储（如 hostPath 或 emptyDir），避免重启后重复推送
结构化解析 Nginx 访问日志
原始日志是文本，必须转成字段才能查、告警、聚合。Fluent Bit 的 regex parser 是核心：
- 定义一个 parser，匹配 Nginx 默认的 combined 格式，例如：
^(?<remote>[^ ]*) - (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+) (?<path>[^"]*) (?<proto>[^"]*)" (?<status>[^ ]*) (?<size>[^ ]*) "(?<referer>[^"]*)" "(?<agent>[^"]*)"</agent></referer></size></status></proto></path></method></time></user></remote> - 配合
Time_Key和Time_Format提取时间戳，让日志在 Loki 或 ES 中可按时间范围检索 - 若 Nginx 启用了
$http_x_forwarded_for，正则需扩展字段，避免丢失真实客户端 IP
按需过滤与增强日志内容
不是所有日志都要进存储，也不是所有字段都默认存在：
- 用
filter插件丢弃健康检查请求（如GET /healthz）或爬虫 UA，减少后端压力 - 添加自定义字段：比如从
status推导level（4xx → warn，5xx → error） - 对敏感字段（如
request中的 token 参数）做脱敏处理，用modify过滤器替换或删除 - 用
kubernetesfilter 补充 Pod 标签（如app=nginx-ingress），方便按业务维度切分日志流
可靠输出到目标系统
输出环节要兼顾吞吐、失败重试和背压控制：
- 写入 Loki：用
lokioutput 插件，天然适配标签索引，查询快、存储省 - 写入 Kafka：开启
Retry_Limit False+storage.type filesystem，Kafka 不可用时自动缓存到磁盘 - 写入 Elasticsearch：配置
HTTP User/Password和 TLS，避免明文传输；设置Logstash_Prefix区分索引名 - 内存限制建议设为节点可用内存的 70%，例如 2GB 节点可设
Mem_Buf_Limit 1400MB
