Filebeat是专为日志采集设计的轻量级代理，核心能力是可靠、低开销、持续读取；它不负责复杂解析，而是通过精准匹配场景、合理配置路径与模块、避免通配符过宽、优先启用官方模块、保障状态持久化及适配部署环境来实现高效稳定采集。
Filebeat 是专为日志采集设计的轻量级代理，不负责复杂解析或转换，而是把“可靠、低开销、持续读取”做到极致。高效收集应用日志的关键，不在于堆功能，而在于精准匹配场景、合理配置路径与模块、避免常见陷阱。
明确日志源位置与格式
Filebeat 本身不自动发现应用日志路径，必须显式指定。常见误区是直接监控 /var/log/*.log，结果混入系统日志、干扰分析。
- 查清应用真实日志路径：比如 Nginx 默认在
/var/log/nginx/access.log和/var/log/nginx/error.log；Spring Boot 应用通常输出到/opt/app/logs/app.log或通过 systemd 写入 journal - 确认日志格式：纯文本（如 access.log）、JSON 行格式（推荐）、或混合格式。Filebeat 对 JSON 日志可自动解析成结构化字段，无需额外处理
- 避免通配符过宽：用精确路径或带前缀的 glob（如
/opt/myapp/logs/*.log），减少扫描开销和误采
优先启用官方模块（省心且规范）
对 Nginx、MySQL、Redis、Systemd 等主流服务，Filebeat 提供开箱即用的模块。它已预置路径、Grok 解析规则、Elasticsearch 索引模板和 Kibana 仪表板。
- 启用只需两条命令：
filebeat modules enable nginx，然后filebeat setup - 模块自动适配不同操作系统路径（如 Ubuntu 的
/var/log/nginx/vs CentOS 的/var/log/nginx/） - 若应用日志是标准 JSON 格式（每行一个 JSON 对象），可自定义模块或直接在 input 中设置
json.keys_under_root: true，让 Filebeat 自动展开字段
合理配置采集行为，保障可靠性
默认配置适合测试，生产环境需调整关键参数防止丢日志或压垮目标端。
- 启用状态持久化：
registry.file.path: /var/lib/filebeat/registry，确保重启后从断点续采 - 限制并发 harvester 数量：
harvester.buffer_size: 16384和max_procs: 2，避免大量小文件触发过多文件句柄 - 设置背压响应：当 Elasticsearch 或 Logstash 拒绝写入时，Filebeat 会自动减速，无需额外配置，但需确保输出端有足够队列缓冲
- 过滤无效日志行：用
processors去掉空行、健康检查日志（如drop_event.when.regexp.message: "^health check$"）
结合部署环境做适配
日志来源不同，采集方式差异很大——不能一套配置打天下。
- 物理机/虚拟机：直接监控本地文件路径，注意文件权限（Filebeat 用户需有读取权）
- Docker：挂载容器日志目录（
/var/lib/docker/containers/*/*.log），或通过docker logs --tail流式获取（需配置dockerinput） - Kubernetes：以 DaemonSet 方式部署，挂载
/var/log/pods和/var/log/containers，配合 autodiscover 动态匹配 Pod 标签启用对应模块 - 云服务（如 AWS ECS、阿里云 ACK）：优先使用云平台提供的日志插件桥接，再由 Filebeat 统一收口，避免重复采集
不复杂但容易忽略：高效不是靠加参数，而是删冗余、定边界、借模块、顺环境。真正跑稳的 Filebeat，往往配置最简，日志最准，中断最少。
