构建Linux DevOps可观测系统需打通指标、日志、链路三者，核心是统一标签、关联分析与闭环告警：用Prometheus+Node Exporter采集基础指标，Loki+Promtail实现轻量日志检索，OpenTelemetry Collector统一接入多语言链路追踪，并通过Grafana集成实现三者联动下钻与混合告警。
构建一个实用的 Linux DevOps 可观测系统，核心不是堆砌工具，而是让指标、日志、链路三者能对得上、查得快、判得准。重点在于打通数据采集、统一存储、关联分析和告警响应这四个环节。
用 Prometheus + Node Exporter 抓牢基础指标
Prometheus 是 Linux 服务监控的事实标准，它拉取（pull）式设计天然适配静态主机与容器环境。Node Exporter 负责暴露 CPU、内存、磁盘 IO、网络连接数等系统级指标。
- 在每台目标机器上部署 Node Exporter（推荐 systemd 管理），默认监听 9100 端口
- 在 Prometheus 配置文件 prometheus.yml 的 scrape_configs 下添加静态 job：
- job_name: 'linux-servers'
static_configs:
- targets: ['192.168.1.10:9100', '192.168.1.11:9100']
- 重启 Prometheus 后访问 /targets 页面确认状态为 UP；用 node_cpu_seconds_total 或 node_memory_MemAvailable_bytes 在 Graph 页面验证数据是否正常上报
用 Loki + Promtail 实现轻量日志可观测
相比 ELK，Loki 不索引日志内容，只索引标签（如 job=nginx、host=web01），存储成本低、查询快，特别适合与 Prometheus 共享标签体系。
- 在每台 Linux 主机部署 Promtail，配置其读取 /var/log/*.log 或 journal 日志，并打上 job 和 host 标签
- Loki 服务端只需配置简单 YAML（无需 ES 或 Kafka），Promtail 将日志按标签发往 Loki 的 /loki/api/v1/push 接口
- Grafana 中添加 Loki 数据源后，可在 Explore 中输入 {job="ssh-access", host="jump01"} 查看匹配日志，支持正则过滤和行内搜索
用 OpenTelemetry Collector 统一接入多语言链路追踪
Linux 服务常混搭 Python、Go、Java 等，OpenTelemetry（OTel）提供语言无关的 SDK 和 Collector，把 traces、metrics、logs 汇聚到同一管道。
- 在应用侧引入对应语言的 OTel SDK，自动注入 trace ID 并上报至本地 Collector（监听 4317 gRPC 端口）
- Collector 配置中启用 otlp 接收器、batch 处理器、jaeger 或 tempo 导出器（Tempo 更轻量，适配 Grafana 生态）
- Grafana 中集成 Tempo，点击任意 Prometheus 告警面板中的 traceID 标签，即可跳转查看完整调用链，实现指标 → 日志 → 链路的下钻
用 Grafana 做统一入口，打通三大信号
Grafana 不只是画图工具，它是可观测性的“指挥台”。关键在于复用标签、联动跳转、闭环告警。
- 所有数据源（Prometheus/Loki/Tempo）使用一致的标签命名，例如统一用 service 代替 app 或 name，便于跨数据源过滤
- 在 Prometheus 面板中给关键指标加变量（如 $host），再配置 Panel Link：点击某主机时，自动跳转到 Loki 的 {host="$host"} 日志页或 Tempo 的 service="$service" 追踪页
- 用 Grafana Alerting 替代 Prometheus Alertmanager 单独配置，直接基于混合查询（如 “CPU > 90% 且最近 5 分钟 ERROR 日志 > 10 条”）触发通知，减少误报
