Prometheus 配置需先用 --dry-run 校验语法，scrape_configs 中 localhost:9090 采集不到自身指标应改用 127.0.0.1 或宿主机 IP，alert.rules.yml 要求数组路径、groups 结构及合法 alert 名，Alertmanager 的 group_wait 和 repeat_interval 决定告警频率。
Prometheus 不是装上就能用的监控系统，它本身不带告警功能，报警靠 Alertmanager；配置文件写错一个缩进，prometheus 就起不来；直接用默认配置跑在生产环境，不出三天磁盘就被时间序列数据占满。
怎么验证 prometheus 配置文件语法是否合法
别急着 systemctl start prometheus，先检查配置。Prometheus 自带校验工具，但很多人漏掉这步，结果日志里只看到 failed to load configuration，根本不知道哪行错了。
- 运行
prometheus --config.file=/etc/prometheus/prometheus.yml --dry-run，返回 0 表示语法通过 -
--dry-run不加载目标、不拉取指标，纯做 YAML 解析和规则校验 - 常见报错如
yaml: line 12: did not find expected key，基本是缩进用了 tab 而不是空格，或scrape_configs下少了个- - 如果用 Ansible 或 CI/CD 自动部署，建议把
--dry-run加进 pre-check 步骤
为什么 scrape_configs 里 target 写 localhost:9090 会采集不到自身指标
因为 Prometheus 默认监听 localhost:9090，但它的 scrape 请求走的是服务所在机器的网络栈——如果 prometheus 运行在容器或远程服务器上，localhost 指的是容器内部或远端机器的回环地址，不是你本机的 Prometheus 实例。
- 本地单机部署时，应写
host.docker.internal:9090（Docker Desktop）或宿主机真实 IP（如192.168.1.100:9090） - 更可靠的做法是启用
self-scraping：在scrape_configs中明确用static_configs指向127.0.0.1:9090，并确保prometheus启动时绑定--web.listen-address="0.0.0.0:9090" - 注意
honor_labels: true可能覆盖job和instance标签，导致目标识别混乱
alert.rules.yml 加载后没生效？检查这三个地方
Prometheus 支持热加载规则，但规则文件路径、格式、引用方式任意一个出错，alerts 页面就为空，ALERTS 指标也不涨。
- 确认
prometheus.yml中rule_files是数组形式：rule_files: ["/etc/prometheus/alert.rules.yml"]，不能写成字符串 -
alert.rules.yml文件必须以groups:开头，每个 group 包含name和rules，缺一不可；alert名称不能含空格或点号（如CPU Usage High或cpu.usage.high都非法） - 改完规则后执行
curl -X POST http://localhost:9090/-/reload（需开启--web.enable-lifecycle），别只改文件就以为生效了 - 如果 Alertmanager 地址配错，Prometheus 日志里不会报错，但
ALERTS{alert_state="firing"}会一直为 0
Alertmanager 配置里最容易被忽略的 repeat_interval 和 group_wait
这两个参数决定你收到多少条重复告警邮件，而不是“有没有告警”。很多团队配置完发现每分钟收 10 封 CPU 告警，其实是没调好分组与重发策略。
-
group_wait: 30s表示新告警进来后，等 30 秒看有没有同组其他告警一起发，避免碎片化通知 -
group_interval: 5m是同一组告警再次发送的最小间隔（比如某台机器持续高负载，5 分钟发一次汇总） -
repeat_interval: 4h是“该告警已恢复又触发”时，才重新开始计时；若一直 firing，不会按这个间隔重复发 - 邮件模板里用
{{ .Labels.instance }}而不是{{ .Labels.hostname }}——后者根本不存在，Prometheus 不会自动注入这个 label
真正难的不是把 Prometheus 跑起来，而是让它的 up 指标稳定、scrape_duration_seconds 不抖动、rule evaluation 不超时。这些细节藏在 /metrics 接口里，而不是文档首页。
