大模型服务自动化监控与重启有五种方案：一、Shell脚本检测进程与端口；二、Python轮询HTTP健康接口；三、GPU显存阈值告警重启；四、Docker原生healthcheck机制；五、systemd服务单元配置实现崩溃自愈。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您已本地部署大模型服务，但发现其运行不稳定、偶发中断或响应停滞，则可能是由于显存泄漏、进程僵死或资源耗尽所致。以下是实现自动化监控与重启的多种可行方案：
一、基于Shell脚本的进程与端口双重检测
该方法通过定期检查模型服务进程是否存在及监听端口是否可连接，判断服务健康状态，适用于所有以独立进程方式运行的大模型服务（如WebUI、API服务）。检测逻辑轻量、依赖少、启动快。
1、创建监控脚本文件 monitor_basic.sh，内容如下：
#!/bin/bash
SERVICE_NAME="qwen3_api"
PORT=7860
LOG_FILE="/var/log/model_monitor.log"
if ! pgrep -f "$SERVICE_NAME" > /dev/null || ! nc -z localhost $PORT 2>/dev/null; then
echo "[$(date)] 服务异常，执行重启" >> $LOG_FILE
/path/to/your/start_script.sh &
fi
2、赋予执行权限：
chmod +x monitor_basic.sh
3、设置每2分钟执行一次：
crontab -e
添加：*/2 * * * * /bin/bash /path/to/monitor_basic.sh
二、基于Python的HTTP健康接口轮询与自动恢复
该方法面向提供标准REST API（含/health或/v1/models等端点）的服务，通过发送HTTP请求验证服务功能级可用性，避免“进程存活但无响应”的假阳性误判，适配Nunchaku-flux-1-dev、Qwen2.5、DeOldify等支持健康检查接口的模型服务。
1、安装必要依赖：
pip install requests
2、编写check_health.py：
import requests
import subprocess
import time
URL = "http://localhost:8000/health"
def is_healthy():
try:
res = requests.get(URL, timeout=5)
return res.status_code == 200
except:
return False
if not is_healthy():
subprocess.run(["docker", "restart", "nunchaku-flux-1-dev"])
3、使用systemd或cron定时调用该脚本，例如每5分钟执行一次。
三、集成GPU显存阈值告警与强制重启
该方法专为消费级GPU（如RTX 4090/3090）部署场景设计，当nvidia-smi检测到GPU显存占用持续高于92%时触发重启，有效应对Wan2.1-UMT5、Qwen3-14B等长期运行后显存泄漏导致的推理失败问题。
本地音视频转录整理技能 — 接收音频、视频、播客链接、字幕、原始转写稿或未整理文字，完成 ASR 转录（本地 faster-whisper / mlx-whisper）、文本清洗整理，输出分享式提纯版中文原文到本地 .txt 文件。所有产物保存在本地。
1、在监控脚本中加入显存检测逻辑：
GPU_MEM=$(nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits | head -n1)
GPU_TOT=$(nvidia-smi --query-gpu=memory.total --format=csv,noheader,nounits | head -n1)
USAGE_PCT=$((GPU_MEM * 100 / GPU_TOT))
2、判断并执行动作：
if [ $USAGE_PCT -gt 92 ]; then
echo "[$(date)] GPU显存使用率 $USAGE_PCT%，触发重启" >> $LOG_FILE
docker restart qwen3_container
fi
四、Docker容器健康状态驱动的自动修复
利用Docker原生healthcheck机制配合restart policy，无需外部脚本干预，由容器运行时自主决策，适用于所有Docker部署的大模型服务，具备高内聚、低耦合、易维护特性。
1、在docker run命令中启用健康检查：
docker run -d \
--health-cmd="curl -f http://localhost:7860/health || exit 1" \
--health-interval=30s \
--health-timeout=10s \
--health-retries=3 \
--restart=on-failure:5 \
-p 7860:7860 \
your-qwen3-image
2、验证容器健康状态：
docker ps --format "table {{.Status}}\t{{.Names}}" | grep qwen3
3、确认输出中包含healthy或unhealthy状态标识。
五、systemd服务单元配置实现开机自启与崩溃自愈
将模型服务注册为systemd服务，借助其进程守护、日志管理、依赖控制与自动重启能力，实现系统级可靠性保障，特别适合Qwen2.5-7B-Instruct、Llama-3.2V-11B-cot等需长期稳定运行的模型。
1、创建服务单元文件 /etc/systemd/system/qwen25.service：
[Unit]
Description=Qwen2.5 Inference Service
After=network.target nvidia-persistenced.service
[Service]
Type=simple
User=aiuser
WorkingDirectory=/Qwen2.5-7B-Instruct
ExecStart=/usr/bin/python3 app.py --port 7860
Restart=always
RestartSec=10
Environment=PYTHONPATH=/Qwen2.5-7B-Instruct
[Install]
WantedBy=multi-user.target
2、启用并启动服务：
sudo systemctl daemon-reload
sudo systemctl enable qwen25.service
sudo systemctl start qwen25.service
3、查看实时状态与日志：
sudo systemctl status qwen25.service
sudo journalctl -u qwen25.service -f
