统一日志收集与分析的核心是解决日志分散、格式不一、检索困难三大问题，需通过标准化输出（JSON+TraceID）、边车采集（Filebeat/Fluent Bit）、Kafka缓冲、ES结构化存储与Kibana分析闭环实现。
在 Java 分布式集群中实现统一日志收集与分析，核心是解决“日志分散、格式不一、检索困难”三个问题。关键在于标准化日志输出、集中采集、结构化存储和可查可控的分析能力。
统一日志格式与接入规范
各服务节点必须输出结构化日志（如 JSON），避免纯文本解析困难。推荐使用 Logback 或 Log4j2 配合 logstash-logback-encoder 输出机器名、服务名、TraceID、时间戳、日志级别、线程名、调用链上下文等字段。
- 在 logback-spring.xml 中配置 JSON encoder，并注入 MDC（Mapped Diagnostic Context）传递 TraceID 和业务标识
- Spring Cloud 项目建议集成 Sleuth + Brave，自动注入 traceId/spanId 到 MDC，确保跨服务日志可串联
- 禁止直接使用 System.out 或未配置的 logger.info()，所有日志必须经统一 appender 输出
轻量可靠日志采集层
不建议应用直连 Elasticsearch 或 Kafka，应在每台服务器部署边车式采集器，解耦应用与基础设施。
- 推荐 Filebeat（轻量、稳定、支持多行合并、字段解析）或 Fluent Bit（资源占用更低，适合容器环境）
- Filebeat 配置需指定日志路径、type 字段（如 service-a）、多行匹配规则（捕获堆栈）、JSON 解析开关
- 采集器统一输出到 Kafka（缓冲+削峰）或直接发往 Logstash/ES，避免单点故障；Kafka topic 按环境（dev/test/prod）和服务名分 Topic 更利于权限与治理
结构化存储与索引优化
日志写入 Elasticsearch 后，若不做治理，查询慢、磁盘爆、权限混乱是常态。
java-api-doc-generator
下载
分析 Java Spring Boot 后端 Controller 代码，自动生成 Markdown 格式的接口文档。当用户说“生成 Java 接口文档”、“生成 API 文档”、“从 Spring 代码生成文档”时触发。
立即学习“Java免费学习笔记（深入）”；
- 按天或按小时创建索引（如 logs-service-a-2024.06.15），配合 ILM（Index Lifecycle Management）自动 rollover 和 delete
- 对高频检索字段（service_name、trace_id、level、status_code）设 keyword 类型并开启 fielddata（谨慎）或使用 terms aggregation
- 避免将大段 message 做 full-text 检索，提取关键业务字段（如 order_id、user_id）为 structured field 单独建模
可落地的日志分析闭环
收集不是终点，要让日志真正用于排障、监控和运营。
- Kibana 中预置常用 Dashboard：按服务错误率趋势、TOP N 异常堆栈、TraceID 快速关联上下游日志、慢 SQL/HTTP 耗时分布
- 用 Elasticsearch 的 Watcher 或 Prometheus + Alertmanager + 自研脚本，对 ERROR 日志突增、特定异常关键词（如 “Connection refused”、“TimeoutException”）做实时告警
- 开发简单 Web 工具，支持输入 TraceID 直接跳转 Kibana 对应日志流，或对接内部 IM（如钉钉机器人）推送关键错误上下文
不复杂但容易忽略：日志采集链路本身需要监控（Filebeat 发送成功率、Kafka 积压、ES indexing rate），否则出了问题连排查日志的依据都没了。
