ELK 本身不支持分布式日志自动关联，需通过统一 JSON 日志格式、全局 traceId、Filebeat 轻量采集、Logstash 增强加工及 Kibana 按 keyword 类型 traceId 查询实现全链路聚合。
Java 微服务环境下，ELK（Elasticsearch + Logstash + Kibana）本身不直接支持分布式日志的自动关联，需通过统一日志格式、全局请求追踪 ID 和标准化采集链路来实现有效聚合。核心不是“ELK 自动聚合”，而是你让每条日志自带上下文，ELK 才能查得准、看得清。
统一日志结构：让每条日志可识别、可关联
微服务各节点日志必须包含关键字段，否则在 Kibana 里无法跨服务串联。推荐在 Logback 或 Log4j2 中配置 JSON 格式输出，至少包含：
- traceId：全链路唯一 ID（如用 Spring Cloud Sleuth，会自动生成并透传）
- spanId：当前操作的 ID（Sleuth 默认提供）
-
service.name：当前服务名（建议通过 Spring Boot 的
spring.application.name注入） - timestamp：ISO8601 格式时间（Logstash 或日志框架可自动处理）
- level、message、exception：基础日志内容
示例 Logback 配置片段（使用 logstash-logback-encoder）：
<providers>
<timestamp/>
<context/>
<version/>
<pattern>
<pattern>{"service":"${spring.application.name:-unknown}","traceId":"%X{traceId:-}","spanId":"%X{spanId:-}","level":"%level","message":"%message","exception":"%ex"}</pattern>
</pattern>
</providers>
</encoder>
日志采集端：Filebeat 替代 Logstash 做轻量汇聚
Logstash 资源开销大，不适合部署在每个 Java 服务节点。推荐用 Filebeat 直接读取应用日志文件，再转发给 Logstash 或 Elasticsearch：
Alibabacloud Sdk Client Initialization For Java
下载
在 Java 中初始化和管理阿里云 SDK客户端。包括单例模式、线程安全、endpoint 与 region 配置、VPC 终端节点、同步与异步等。
立即学习“Java免费学习笔记（深入）”；
- 每个微服务节点部署一个 Filebeat 实例（或容器 sidecar）
- Filebeat 配置中添加
fields补充服务元信息（如service.name、环境env: prod） - 启用
processors解析 JSON 日志（decode_json_fields），确保 traceId 等字段变成 Elasticsearch 的独立字段，而非嵌套在 message 里 - 输出目标建议设为 Logstash（做二次加工）或直接发往 Elasticsearch（简单场景）
Logstash 加工：补全、过滤、增强上下文
Logstash 在中间层负责清洗和 enrich 日志。典型处理包括：
- 用
grok提取非 JSON 日志中的 traceId（兜底兼容） - 用
mutate + add_field补充缺失字段（如无 traceId 则生成随机 ID，避免空值影响聚合） - 用
geoip或useragent插件解析访问来源（如网关日志） - 用
if [traceId] != "" { ... }对带追踪 ID 的日志打上type: distributed-trace标签，便于 Kibana 过滤
Kibana 查询与可视化：按 traceId 快速聚合全链路
日志进 Elasticsearch 后，真正“聚合”发生在查询侧：
- 在 Kibana Discover 中输入
traceId : "abc123..."，即可看到该请求在所有微服务中产生的全部日志（按时间倒序排列） - 创建 Saved Search，固定筛选
traceId字段，并开启 “Auto-refresh” 查看实时链路 - 用 Lens 或 Dashboard 展示高频错误 traceId、平均链路耗时（需配合 APM 或在日志中记录 start/end 时间戳）
- 设置 Alert：当某 traceId 出现 ERROR 级别日志 + 异常堆栈关键词（如
NullPointerException），触发通知
注意：Elasticsearch 默认对 traceId 字段建的是 text 类型（带分词），必须在索引模板中显式设为 keyword，否则无法精确匹配和聚合。
