已部署DeepSeek V4监控体系：一、用Prometheus采集vLLM的/metrics指标；二、用DCGM Exporter采集GPU硬件指标；三、导入Grafana ID为19876专用看板；四、验证vLLM与DCGM指标上报完整性；五、配置三条基础告警规则。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您已部署DeepSeek V4模型服务，但缺乏实时运行状态反馈，则可能无法及时发现推理延迟突增、GPU显存溢出或请求队列堆积等问题。以下是针对DeepSeek V4运行状态实施有效监控的具体操作路径：
一、配置Prometheus采集vLLM暴露的/metrics端点
vLLM 0.4.1+版本默认启用Prometheus指标接口，DeepSeek V4在vLLM框架下运行时会自动通过/metrics路径暴露23项核心推理指标，包括请求速率、P99延迟、显存占用、请求队列长度等。需确保vLLM服务启动时启用监控参数，并使Prometheus能稳定抓取该端点。
1、启动vLLM服务时添加监控开关参数：--enable-metrics --metrics-port 8000
2、确认vLLM服务监听地址与端口可被Prometheus访问，例如执行：curl http://localhost:8000/metrics | head -n 10，应返回以# HELP开头的指标文本
3、编辑Prometheus配置文件prometheus.yml，在scrape_configs中新增job：
4、
- job_name: 'deepseek-v4-vllm'<br> static_configs:<br> - targets: ['192.168.1.100:8000']（将IP替换为实际vLLM服务所在主机地址）
5、重启Prometheus服务并访问http://[prometheus-host]:9090/targets，确认deepseek-v4-vllm状态为UP
二、部署NVIDIA DCGM Exporter采集GPU硬件级指标
DeepSeek V4满血版依赖多卡高负载推理，仅应用层指标不足以定位显存碎片、温度过高或PCIe带宽瓶颈。NVIDIA DCGM Exporter可从驱动层采集GPU型号、利用率、显存使用量、温度、功耗及ECC错误等底层指标，与vLLM指标形成垂直关联分析基础。
1、在GPU服务器上安装NVIDIA驱动（≥450.80.02）及DCGM工具包
2、拉取并运行DCGM Exporter容器：docker run -d --gpus all -p 9400:9400 --name dcgm-exporter nvcr.io/nvidia/k8s/dcgm-exporter:3.3.5-3.4
3、在prometheus.yml中追加GPU采集任务：
4、
- job_name: 'dcgm'<br> static_configs:<br> - targets: ['192.168.1.100:9400']
5、验证指标入库：在Prometheus表达式浏览器中输入dcgm_gpu_utilization，应返回每张GPU的实时利用率时间序列，值域为0–100
三、导入Grafana DeepSeek-V4专用看板
Grafana官方仪表盘库中存在多个适配vLLM+DeepSeek场景的社区看板，其中ID为19876的“vLLM + DeepSeek V4 Inference Dashboard”已预置关键视图：P99延迟热力图、并发请求数趋势、显存占用TOP GPU、请求成功率分桶统计、队列等待时间分布。该看板支持按模型名称标签（如model="deepseek-v4-pro"）动态过滤。
1、登录Grafana Web界面，点击左侧“+”号，选择“Import”
2、在“Import via panel json”框中粘贴看板JSON内容，或直接输入看板ID：19876
3、在“Prometheus”数据源下拉菜单中选择已配置的Prometheus实例
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
4、点击“Load”，等待面板加载完成
5、检查面板右上角时间范围是否设为Last 15 minutes，确认各图表曲线有实时更新
四、验证关键指标是否正常上报
指标完整性是监控生效的前提。需逐项确认vLLM与DCGM两类指标均已成功写入Prometheus时序数据库，避免因标签缺失、命名不一致或采集间隔错配导致看板空白或误判。
1、在Prometheus表达式浏览器中分别执行以下查询：
2、count by (job) (deepseek_v4_inference_requests_total) —— 应返回非零计数
3、dcgm_fb_used{gpu="0"} —— 应返回具体数值（单位字节），且随模型加载明显上升
4、histogram_quantile(0.99, sum(rate(vllm_request_latency_seconds_bucket[5m])) by (le)) —— 应输出一个浮点数值（单位秒）
5、若任一查询无结果，检查对应target的labels字段是否含instance="xxx"且与服务实际地址一致
6、重点核对vLLM指标前缀是否为vllm_而非deepseek_，DCGM指标是否含dcgm_前缀，二者不可混用
五、设置基础告警规则防止静默故障
无告警的监控等于无监控。针对DeepSeek V4典型失效模式，应在Prometheus中定义最小可行告警规则，确保异常发生后5分钟内触发通知，避免业务请求持续失败而不自知。
1、在Prometheus主配置中引入告警规则文件：
rule_files:<br> - "alerts/deepseek-v4-alerts.yml"
2、创建alerts/deepseek-v4-alerts.yml，写入以下三条规则：
3、
- alert: DeepSeekV4HighLatency<br> expr: histogram_quantile(0.99, sum(rate(vllm_request_latency_seconds_bucket[5m])) by (le)) > 1.2<br> for: 3m
4、
- alert: DeepSeekV4GPUMemoryFull<br> expr: dcgm_fb_used / dcgm_fb_total * 100 > 95<br> for: 2m
5、
- alert: DeepSeekV4RequestFailureRate<br> expr: rate(vllm_request_failure_total[5m]) / rate(vllm_request_success_total[5m]) > 0.03<br> for: 4m
6、重启Prometheus，访问http://[prometheus-host]:9090/alerts确认规则状态为active
