错误预算追踪器（Error Budget Tracker）

让服务等级目标（SLO）真正可执行。跨服务追踪错误预算消耗情况，计算燃烧速率（burn rate），预测预算耗尽时间，并提供明确指导：当前应发布新功能，还是应投入可靠性建设——将抽象的可用性目标转化为具体的工程决策。

适用场景包括：“追踪错误预算”、“SLO 状态查询”、“还剩多少错误预算”、“是否应暂停部署”、“可靠性与交付速度的权衡”、“SLI/SLO 评审”，或在服务评审会议中使用。

命令

1. track — 计算当前错误预算

步骤 1：定义 SLO

# SLO 定义（保存为代码仓库中的 slo.yaml）
services:
  api-gateway:
    slos:
      - name: Availability
        target: 99.9%          # 每月 43.8 分钟停机预算
        sli: "1 - (sum(rate(http_requests_total{status=~'5..'}[5m])) / sum(rate(http_requests_total[5m])))"
        window: 30d             # 滚动 30 天窗口
      - name: Latency P99
        target: 99%             # 99% 的请求延迟低于 500ms
        sli: "histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le)) < 0.5"
        window: 30d
  payment-service:
    slos:
      - name: Availability
        target: 99.95%         # 每月 21.9 分钟停机预算
        sli: "..."

步骤 2：查询当前 SLI 值

# Prometheus — 获取滚动窗口内的当前可用性
curl -s "$PROMETHEUS_URL/api/v1/query" --data-urlencode 
  "query=1 - (sum(increase(http_requests_total{service='api-gateway',status=~'5..'}[30d])) / sum(increase(http_requests_total{service='api-gateway'}[30d])))" | 
  python3 -c "
import json, sys
result = json.load(sys.stdin)
if result['data']['result']:
    sli = float(result['data']['result'][0]['value'][1])
    slo = 0.999
    budget_total = 1 - slo  # 0.001 = 0.1%
    budget_consumed = max(0, slo - sli) / budget_total * 100 if sli < slo else 0
    budget_remaining = max(0, 100 - budget_consumed)
    
    print(f'SLI (30d): {sli*100:.3f}%')
    print(f'SLO target: {slo*100:.1f}%')
    print(f'Error budget: {budget_remaining:.1f}% remaining')
    
    # 转换为分钟
    minutes_total = 30 * 24 * 60 * (1 - slo)  # 99.9% 对应 43.2 分钟
    minutes_used = minutes_total * (budget_consumed / 100)
    minutes_left = minutes_total - minutes_used
    print(f'Budget in minutes: {minutes_left:.1f} min remaining of {minutes_total:.1f} min')
    
    status = '🟢' if budget_remaining > 50 else '🟡' if budget_remaining > 20 else '🔴'
    print(f'Status: {status}')
"

步骤 3：计算燃烧速率（Burn Rate）

def calculate_burn_rate(budget_consumed_pct, days_elapsed, window_days=30):
    """错误预算正以多快的速度被消耗？"""
    daily_burn = budget_consumed_pct / max(days_elapsed, 1)
    days_remaining = (100 - budget_consumed_pct) / daily_burn if daily_burn > 0 else float('inf')
    
    # 相对于预期速率的燃烧率（均匀消耗 = 1.0）
    expected_daily = 100 / window_days
    burn_rate = daily_burn / expected_daily
    
    return {
        'daily_burn_pct': daily_burn,
        'burn_rate': burn_rate,  # 1.0 = 符合预期，>1 = 消耗过快
        'days_until_exhaustion': days_remaining,
        'alert': 'CRITICAL' if burn_rate > 10 else 'HIGH' if burn_rate > 5 else 'WARNING' if burn_rate > 2 else 'OK'
    }

步骤 4：生成报告

# 错误预算报告 — 2026 年 4 月

## 执行摘要
- 5 个服务中，3 个处于预算范围内 ✅
- 1 个服务接近预算耗尽 ⚠️
- 1 个服务预算已耗尽 🔴 — 建议暂停部署

## 服务状态
| 服务 | SLO | SLI（30 天） | 剩余预算 | 燃烧速率 | 行动建议 |
|---------|-----|-----------|-------------|-----------|--------|
| api-gateway | 99.9% | 99.92% | 78% 🟢 | 0.7× | 可发布新功能 |
| payment | 99.95% | 99.94% | 35% 🟡 | 1.3× | 注意风险 |
| search | 99.5% | 99.48% | 12% 🔴 | 2.8× | 启动可靠性冲刺 |
| auth | 99.99% | 99.995% | 95% 🟢 | 0.2× | 可发布新功能 |
| notifications | 99.9% | 99.85% | -50% 🔴 | 3.5× | 暂停部署 |

## 建议
### notifications（预算已耗尽）
- 暂停所有非关键部署，直至预算恢复
- 指派 1 名工程师专注可靠性工作 2 周
- 根本原因：4 月 12 日、18 日、23 日共发生 3 起事故，累计消耗预算达 150%
- 预计恢复时间：若不再发生新事故，12 天后预算可恢复正常

### search（预算严重不足）
- 推迟高风险重构工作至下月
- 当前燃烧速率预计 4 天内耗尽全部预算
- 根本原因：新搜索索引迁移导致延迟升高

2. alert — 配置错误预算燃烧告警

按 Google SRE 方法论，配置多时间窗口的燃烧速率告警：

• 1 小时内消耗 2% 预算 → 触发寻呼（14.4× 燃烧速率）
• 6 小时内消耗 5% 预算 → 触发寻呼（6× 燃烧速率）
• 3 天内消耗 10% 预算 → 创建工单（1× 燃烧速率）

3. policy — 生成错误预算策略文档

自动生成正式的错误预算策略文档，内容包括：

• 各预算阈值（100%、75%、50%、25%、0%）对应的具体响应措施
• 有权暂停部署的人员或角色
• 申请预算例外的流程
• 预算重置机制（滚动窗口 vs 日历月）
• 基于历史数据调整 SLO 的方法