需通过三种方式将Text-Generation-WebUI模型接入OpenClawAI:一、启用其内置OpenAI兼容端点,启动时加--api --openai-api --api-port 5000参数;二、用LiteLLM作协议转换网关,命令为litellm --model tgi:http://127.0.0.1:8080 --port 4000;三、手动编辑openclaw.json配置文件,在providers中添加type为openai的provider对象并设primary字段。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您希望将Text Generation WebUI(简称TGI或Text-Generation-WebUI)中已有的模型接入OpenClawAI以扩展其本地推理能力,则需注意二者接口协议与模型加载机制存在差异。OpenClawAI原生兼容OpenAI Completion API格式及Anthropic风格的HTTP服务,而Text-Generation-WebUI默认提供的是基于transformers的REST API(如/v1/completions),需通过适配层或代理配置实现协议对齐。以下是具体操作步骤:
一、启用Text-Generation-WebUI的OpenAI兼容端点
Text-Generation-WebUI自v0.9.4起内置OpenAI兼容模式,启用后可直接被OpenClaw识别为标准OpenAI Provider。该方式无需额外代理工具,是最低侵入性方案。
1、启动Text-Generation-WebUI时添加参数:--api --openai-api --api-port 5000。
2、确认服务运行后,在浏览器访问 http://127.0.0.1:5000/docs,检查是否显示OpenAI-style Swagger文档。
3、在OpenClaw设置界面中新增模型提供商,选择API类型为OpenAI Completion,Base URL填写为http://127.0.0.1:5000/v1,API KEY留空或填任意字符串(如“dummy”)。
4、模型名称字段必须与Text-Generation-WebUI加载的模型标识完全一致,例如加载的是TheBloke/Llama-3.2-3B-Instruct-GGUF,则此处填入Llama-3.2-3B-Instruct-GGUF(不含路径和后缀)。
二、使用LiteLLM作为协议转换网关
当Text-Generation-WebUI未启用OpenAI兼容端点,或需复用多个不同后端(如vLLM + TGI)时,LiteLLM可作为统一路由层,将OpenClaw请求动态转发至对应服务,并自动完成请求/响应结构映射。
1、安装LiteLLM:pip install litellm。
2、启动LiteLLM并指向TGI服务:litellm --model tgi:http://127.0.0.1:8080 --port 4000(假设TGI运行在8080端口)。
3、在OpenClaw中新增模型提供商,API类型选OpenAI Completion,Base URL设为http://127.0.0.1:4000/v1,API KEY任意填写。
4、模型名称字段填写LiteLLM命令中指定的模型别名,即tgi(或自定义别名,如启动时加--model tgi:xxx --alias my-tgi,则填my-tgi)。
三、手动修改openclaw.json配置文件直连
绕过WebUI设置界面,通过编辑底层配置文件可实现更精细控制,适用于高级用户或批量部署场景。此方法支持自定义超时、流式开关、模型别名映射等参数。
1、定位OpenClaw配置文件路径:~/.openclaw/openclaw.json(Linux/macOS)或%USERPROFILE%\.openclaw\openclaw.json(Windows)。
2、在providers数组中添加新对象,结构如下:
{"name": "tgi-local", "type": "openai", "base_url": "http://127.0.0.1:8080/v1", "api_key": "sk-no-key", "model": "llama-3b-instruct"}。
3、在agent.primary字段中将值设为该provider的name,例如:"primary": "tgi-local"。
4、保存文件后,在终端执行openclaw restart使配置生效,无需重启整个服务进程。


















