OpenClaw多模型部署需严格遵循路径规范、格式要求与配置规则:模型目录须为models/{model_name}/且命名仅含字母数字下划线;权重须为FP16/BF16,INT4模型需quant_config.json;openclaw.yaml中models节点逐项声明name/path/device/dtype,device不可为空,auto模式不支持混合精度;启动后通过/v1/models验证status为ready,调用时URL须显式指定model参数。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

OpenClaw服务器部署中配置多模型,需在服务启动前完成模型路径注册、权重加载策略设定及推理引擎参数绑定,避免运行时热加载引发CUDA上下文冲突或显存溢出。
准备多个模型文件并组织目录结构
将不同模型的权重文件、配置文件(如config.json、tokenizer.json)、分词器文件统一放入各自独立的子目录,路径层级必须为models/{model_name}/,例如:models/ernie-4.5t/、models/x1t-v2/、models/deepseek-moe-16b/。
每个子目录内不得混放其他模型文件,【模型目录名不能含空格或特殊符号,仅允许字母、数字、下划线】;若目录名非法,OpenClaw启动时会跳过该模型且不报错,导致后续调用返回404。
确认所有模型权重为FP16或BF16格式,INT4量化模型需额外提供quant_config.json,否则加载失败。
修改openclaw.yaml启用多模型服务
打开openclaw.yaml,定位到models:节点,在其下逐行声明各模型配置项:
```yaml
models:
- name: ernie-4.5t
path: ./models/ernie-4.5t
device: cuda:0
dtype: bfloat16
- name: x1t-v2
path: ./models/x1t-v2
device: cuda:1
dtype: float16
- name: deepseek-moe-16b
path: ./models/deepseek-moe-16b
device: auto
dtype: auto
```
【device字段必须明确指定GPU编号或auto,不可留空;若设为auto但系统仅有1块GPU,MOE类模型可能因显存不足触发OOM】。
同一台服务器上,每个模型必须绑定唯一GPU设备(cuda:0/cuda:1等),或全部设为auto由OpenClaw自动分配——但auto模式不支持混合精度模型共存,会强制统一为最低精度类型。
启动服务并验证模型加载状态
执行openclaw serve --config openclaw.yaml启动服务。
服务启动后立即访问http://localhost:8000/v1/models,返回JSON中应包含全部三个模型条目,且每个条目的status字段为ready。
若某个模型显示status: error,查看日志中以[MODEL LOADING]开头的行,常见原因包括:路径不存在、PyTorch版本与模型保存时版本不兼容、CUDA驱动版本低于12.1。
调用任一模型的推理接口时,URL路径需显式携带模型名,例如:POST /v1/chat/completions?model=ernie-4.5t。


















