采用“边缘采集+中心聚合+全局查询”分层架构,通过三级监控路由、多源动态服务发现、高可用配置及自监控增强,实现万级混合云资产的高效可靠监控。

对数万节点的混合云超大IT资产矩阵做监控,不能靠单个 Prometheus 实例硬扛,必须分层、分流、分治。核心思路是:**边缘采集 + 中心聚合 + 全局查询**,避免指标洪流击穿单点,同时保障可用性与查询一致性。
一、分层架构设计:三级监控路由模型
将整体监控体系划分为边缘层(Edge)、区域层(Region)、中心层(Global)三层:
-
边缘层:每个云区域(如阿里云华北1、AWS us-east-1、私有IDC机房A/B)部署一组轻量 Prometheus 实例(2–3副本),专责本区域内节点采集(
node_exporter、pod_exporter、业务 exporter)。配置scrape_interval: 30s,禁用长周期规则评估,仅保留基础告警规则(如主机宕机、容器OOM)。 - 区域层:每区域部署一个 Thanos Sidecar + Thanos Ruler,负责:① 对接边缘 Prometheus 实例;② 执行区域级聚合规则(如“某集群CPU使用率 > 90% 持续5分钟”);③ 将压缩后的时间块(block)上传至统一对象存储(如 S3/OSS/Ceph)。
- 中心层:部署 Thanos Query 集群(多副本+负载均衡)+ Thanos Store Gateway + Alertmanager(3副本+去重路由)。所有查询请求由 Thanos Query 统一接入,自动聚合边缘实时数据 + 区域归档数据;告警由中心 Alertmanager 统一收口、分组、抑制、路由到钉钉/企业微信/Webhook。
二、混合云目标发现:动态适配多源元数据
静态配置完全失效,必须依赖服务发现自动同步资产变更:
开箱即用的技能链路由引擎。13 条预定义链覆盖搜索、开发、审查、MLOps、法律、创意等场景,三层路由架构(触发词→SAD反馈→DAG编排),recall@10=96.97%。配置驱动(chains.yaml),零代码扩展。pip install skill-weave-chains 一键安装。
-
Kubernetes 集群:启用
kubernetes_sd_configs,按role: node/role: pod/role: service分类发现,配合relabel_configs注入云厂商标签(cloud_provider="aliyun")、集群ID、环境(env="prod")等关键维度。 -
公有云 IaaS 资源:使用
ec2_sd_configs(AWS)、alibaba_cloud_sd_configs(阿里云)、azure_sd_configs(Azure),通过 IAM/RAM 角色拉取实例列表,并 relabel 补充 VPC、可用区、标签(Tag)映射为 Prometheus 标签。 - 物理机/VM/传统应用:采用 文件服务发现(file_sd_configs),由 CMDB 或资产平台每日生成 JSON 文件(含 IP、端口、角色、owner、region),推送到各边缘 Prometheus 的挂载目录,支持增量 reload。
三、高可用关键配置落地要点
不靠堆资源,而靠机制兜底:
-
边缘 Prometheus 必须启用持久化 + 外部标签:每个实例配置
external_labels: {region: "aws-us-east-1", prometheus: "edge-01"},并绑定 PVC(至少 50Gi SSD),防止 Pod 重建丢数据。 -
Thanos Query 启用降级查询:设置
--query.replica-label=prometheus自动去重;添加--query.partial-response,允许部分后端不可用时仍返回可用数据。 -
告警链路双保险:边缘层 Ruler 输出告警到本地 Alertmanager 做快速响应(如秒级重启);中心 Alertmanager 接收全部告警事件,启用
group_by: [..., "region", "severity"]和inhibit_rules抑制衍生告警(如主机宕机后自动抑制其上所有服务告警)。 - 远程写非必需,但推荐启用 remote_write 到中心长期库:若已部署 VictoriaMetrics 或 Cortex,可配置边缘 Prometheus 同步写入,作为 Thanos 对象存储的补充备份路径。
四、可观测性增强实践
超大规模下,监控系统自身也要被监控:
- 为每个边缘 Prometheus 实例部署
prometheus-operator的ServiceMonitor,采集其prometheus_target_*、prometheus_tsdb_*等自监控指标。 - 用
blackbox_exporter定期探测各区域 Thanos Sidecar 的/readyz和对象存储连通性。 - Grafana 统一看板中嵌入「采集健康地图」:按 region 维度展示 target up/down ratio、scrape latency P95、rule evaluation failures,支持下钻定位异常区域。


















