生产环境Grok服务需通过Prometheus采集CPU/GPU指标，配置双阈值告警（CPU>85%、GPU显存>90%，持续2分钟），结合HPA behavior定制扩缩策略（扩容激进、缩容保守），并绑定自定义/外部指标实现毫秒级弹性响应。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当Grok服务在生产环境中遭遇突发流量，单实例CPU持续飙高至85%以上、GPU显存使用率突破90%，手动扩缩容已无法应对毫秒级波动，必须依赖自动策略实时响应资源压力。
配置Prometheus采集Grok核心指标
进入Prometheus配置目录，编辑 prometheus.yml，在 scrape_configs 区块下新增job：
```yaml
- job_name: 'grok-inference'
static_configs:
- targets: ['localhost:9090']
metrics_path: /metrics
```
确保Grok服务已暴露/metrics端点——若未启用，需在run.py中调用 start_http_server(9090) 并注入 prometheus_client 指标注册器，否则所有后续告警将无数据源。
重启Prometheus服务使配置生效。
定义关键扩缩容触发指标
在Prometheus中创建以下两条告警规则，保存为 grok-autoscale.rules.yml：
① CPU过载告警（触发扩容）：
【expr】 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85
② GPU显存临界告警（触发扩容）：
【expr】 gpu_memory_used_percent{device="0"} > 90
这两条规则必须同时满足“持续2分钟”才触发动作，避免瞬时毛刺误扩；显存指标名称需与nvidia-smi exporter实际暴露的label一致，device="0"不可写成"gpu0"或省略。
部署Kubernetes HPA并绑定指标
方法一：基于自定义指标（推荐）
执行命令生成HPA配置：kubectl autoscale deployment grok-inference --cpu-percent=70 --min=1 --max=8
随后用kubectl edit hpa grok-inference，将 metrics 字段替换为：
```yaml
metrics:
- type: Pods
pods:
metric:
name: cpu_usage_percent
target:
averageValue: "70"
- type: External
external:
metric:
name: gpu_memory_used_percent
selector:
matchLabels:
device: "0"
target:
averageValue: "90"
```
方法二：使用KEDA适配器（适用于非标准指标）
先部署KEDA Operator，再创建ScaledObject资源，将Prometheus查询结果映射为可伸缩信号源；该方式支持更复杂的多条件组合逻辑，但需额外维护KEDA组件。
设置扩容步长与冷却窗口
第一步：编辑HPA YAML，添加行为配置：behavior:
第二步：在 scaleUp 下设置：stabilizationWindowSeconds: 300 ——防止5分钟内频繁扩缩policy:
type: Percent
value: 200
periodSeconds: 60
第三步：在 scaleDown 下设置：stabilizationWindowSeconds: 600 ——缩容更保守，避免误杀正在处理长请求的PodselectPolicy: Disabled ——禁用自动缩容，仅由显存+CPU双指标联合触发扩容
这一步必须手动修改HPA对象，kubectl autoscale命令无法生成behavior字段；若跳过此步，HPA默认采用激进缩容策略，可能导致正在处理大文档推理的Pod被突然终止。
验证自动扩容链路是否打通
向Grok服务发起持续压测：locust -f load_test.py --headless -u 50 -r 10 --host http://grok-service
观察Kubernetes事件流：kubectl get events --sort-by='.lastTimestamp' | tail -20
当CPU与显存双指标持续超阈值2分钟后，应看到类似事件：
ScalingReplicaSet grok-inference-7c8d9b4f5 → Scaled up replica set grok-inference-7c8d9b4f5 from 1 to 3
检查新Pod状态：kubectl get pods -l app=grok-inference ——确认新实例处于Running且Ready=True
