模型部署

使用 vLLM 在 GPU 服务器上部署大语言模型。注意：当前仅支持 ModelScope 平台及 vLLM 推理引擎。

请确保运行 OpenClaw 的服务器可通过免密登录方式访问目标 GPU 服务器。您可在 OpenClaw 服务器上使用 ssh-copy-id 命令配置该访问权限。

本技能假设您的服务器上已安装 Miniconda，并使用其管理 Python 环境。您可执行以下命令，通过 Miniconda 创建 vllm 环境：

conda create -n vllm python=3.10 -y
conda activate vllm
pip install vllm

快速开始

在 ModelScope 平台上，模型通过 / 唯一标识。例如，对于 Qwen/Qwen3.5-0.8B，MODEL_ORG 为 Qwen，MODEL_NAME 为 Qwen3.5-0.8B。

部署 Qwen 系列模型

如需部署 Qwen 系列模型，请使用部署脚本 scripts/deploy.sh。该脚本的使用方法如下：

用法: [ENV_VARS] deploy.sh 

示例:
  PORT=8001 
  GPU_COUNT=4 
  ./deploy.sh Qwen3.5-0.8B

环境变量:
  ENV_NAME        conda 环境名称（默认值：vllm）
  PORT            服务端口（默认值：8000）
  GPU_COUNT       用于张量并行的 GPU 数量（默认值：1）
  PROXY           代理地址（默认值：http://{proxyaddress}:{port}）
  MODEL_BASE_PATH 模型本地存储路径（默认值：/home/work/models）

部署步骤

• 从用户请求中提取必要信息：模型名称（MODEL_NAME）、模型组织名（MODEL_ORG）、目标服务器地址（TARGET_HOST）、部署用户（TARGET_USER）及其他必需参数。

• 将 ./skills/model-deploy/scripts/deploy.sh 复制到目标服务器指定路径，例如 $HOME/wangwei1237。

• 为目标服务器上的部署脚本赋予可执行权限。

• 在目标服务器上以如下格式运行部署脚本：

ssh ${TARGET_USER}@${TARGET_HOST} "cd $HOME/wangwei1237 && PORT=8001 && ./deploy.sh Qwen3.5-0.8B"

• 部署完成后，在目标服务器上运行以下命令，验证模型服务是否成功启动：

curl -X POST http://127.0.0.1:8001/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{
      "messages": [{"role": "user", "content": "你好"}],
      "max_tokens": 512
  }'

约束条件

• 在目标服务器上执行的命令必须采用如下格式：
  ssh ${TARGET_USER}@${TARGET_HOST} "${CMD}"

故障排查

• 端口被占用：使用 netstat -tlnp | grep 检查
• 版本问题：运行 pip install vllm --upgrade
• 网络问题：通过 export https_proxy="http://{proxyaddress}:{port}" 设置代理
• GPU 显存不足：使用 nvidia-smi 查看 GPU 使用情况，选择合适的 GPU 索引（记为 GPU_FAN），设置 export CUDA_VISIBLE_DEVICES=$GPU_FAN 指定 GPU，然后重新运行部署脚本。