核心是用relabel_configs在抓取前统一归一化异构来源的元标签:提取K8s标签、映射Consul字段、补全静态配置环境标识;动态重写地址与路径;按业务维度过滤分组;避免多源规则冲突,推荐按来源拆分Job。

核心在于:用 relabel_configs 在抓取前统一处理不同来源的原始元数据,把杂乱、命名不一、语义不清的标签,变成结构一致、可查询、可分组的业务标签。这不是给指标加标签,而是重塑目标本身。
识别并归一化异构来源的元标签
不同服务发现机制返回的元标签前缀不同:Kubernetes 有 __meta_kubernetes_*,Consul 是 __meta_consul_*,静态配置只有 __address__ 和 __metrics_path__。直接混用会导致查询混乱。
- 先用
labelmap批量提取 Kubernetes 标签:- action: labelmap<br> regex: __meta_kubernetes_pod_label_(.+)
→ 把__meta_kubernetes_pod_label_env=prod转成env=prod - 对 Consul 服务,用
replace显式映射关键字段:- source_labels: [__meta_consul_service_metadata_env]<br> target_label: env<br> replacement: $1
- 为 static_configs 补充缺失的环境标识:
- source_labels: []<br> target_label: env<br> replacement: staging
(空 source_labels 表示恒真)
动态构造抓取地址与路径
微服务端口、路径不统一是常见痛点。不能靠硬编码,必须根据元信息实时拼接。
- 修正 target 地址:Kubernetes Pod 默认暴露的是 kubelet 的 10250 端口,但 node-exporter 实际监听 9100;Consul 服务可能注册了 8080,而真实指标端口是 9091。需重写
__address__:- source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]<br> regex: (.*):[0-9]+;(.+)<br> replacement: $1:$2<br> target_label: __address__
- 统一 metrics 路径:有的服务用
/metrics,有的用/actuator/prometheus。通过__metrics_path__动态覆盖:- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]<br> target_label: __metrics_path__<br> replacement: $1
按业务维度过滤与分组
避免无效抓取,也避免标签爆炸。重点不是“保留所有”,而是“只留必要”。
- 丢弃非生产环境的测试实例(如 dev、ci):
- source_labels: [env]<br> regex: dev|ci<br> action: drop
- 按团队/服务线聚合 job:不依赖 job_name 静态写死,而是从标签推导:
- source_labels: [team, service_name]<br> separator: '_' <br> target_label: job<br> replacement: $1_$2
→team="backend", service_name="order"→job="backend_order" - 防止标签冗余:删掉无业务意义的元标签(如
__meta_consul_service_id),只保留清洗后的一级业务标签。
处理多源共存时的规则冲突
一个 job 同时配置 static_configs 和 kubernetes_sd_configs 时,所有目标会进同一 relabel 流水线。未匹配的规则可能导致物理机目标被意外丢弃。
- 用
keep或drop前加判断条件,区分来源:- source_labels: [__meta_kubernetes_namespace]<br> regex: .+<br> action: keep_if_equal<br> target_label: __tmp_is_k8s<br> replacement: "1"
再配合后续规则做分支处理 - 更稳妥的做法是拆 Job:Kubernetes 微服务一个 job,Consul 微服务一个 job,静态部署的服务单独一个 job。每个 job 内部 relabel 逻辑专注单一来源,清晰可控。

















