讲师中心 微信公众号
AI工具推荐 视频效率加速

扣子本地大模型(Local LLM)私有部署与桥接实践指南

小磊同学_9339

小磊同学_9339

发布时间:2026-08-02 11:48:25

|

397人浏览过

|

来源于php中文网

原创

必须通过反向代理(如ngrok)将本地Ollama的127.0.0.1:11434映射为公网HTTPS地址,并用FastChat或LiteLLM桥接为OpenAI兼容接口,再在Coze中配置该地址为API Endpoint、模型ID严格匹配桥接层定义的名称(如llama3-8b),才能成功调用本地大模型。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

扣子本地大模型(local llm)私有部署与桥接实践指南

你想在Coze扣子平台中调用自己电脑上运行的本地大模型(如Ollama里的Llama 3、Qwen2、DeepSeek-Coder),但发现直接填127.0.0.1:11434根本连不通,Bot配置保存后测试始终返回“模型不可用”或超时错误——这是因为Coze云端服务无法访问你本机的localhost,且其API调用协议与本地模型服务不兼容,必须通过协议桥接+网络穿透双重手段打通链路。

确认本地模型服务已就绪并可被外部探测

在终端执行ollama serve,等待日志输出Listening on 127.0.0.1:11434;这说明Ollama服务已启动,但仅监听本机回环地址,外部完全不可达。

立刻在另一台局域网设备(如手机浏览器)访问http://你的电脑IP:11434/api/tags,若返回JSON且含"models": [...],说明服务已成功绑定到局域网;若拒绝连接或超时,需手动修改Ollama配置:编辑~/.ollama/config.json,将"host"字段改为"0.0.0.0:11434",然后重启ollama serve。

【必须验证】执行curl -s http://localhost:11434/api/tags | jq '.models[0].name',输出应为类似"llama3:8b"——注意,带:8b后缀才是完整tag,缺了就会在Coze侧报“model not found”。

构建OpenAI兼容层:用FastChat桥接Ollama API

Coze只认OpenAI格式的/v1/chat/completions接口,而Ollama原生是/api/chat,字段名、响应结构、流式格式全都不一样。不能硬改Coze源码,得在外围加一层转换。

方法一:用FastChat一键启动兼容服务
安装FastChat:pip install "fschat[all]";
启动桥接服务:python -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000 --controller-address http://localhost:21001 --model-list-path ./models.json;
其中models.json内容为:[{"model_name":"llama3-8b","path":"llama3:8b"}]——这里model_name将作为Coze里填写的模型ID,path对应Ollama实际tag。

方法二:用LiteLLM轻量代理(适合资源受限环境)
安装:pip install litellm;
启动:litellm --model ollama/llama3:8b --host 0.0.0.0 --port 4000;
它会自动将http://localhost:4000/v1/chat/completions映射为标准OpenAI接口,且支持多模型路由。

启动后,在浏览器访问http://localhost:8000/v1/models,应返回{"object":"list","data":[{"id":"llama3-8b","object":"model","created":...}]}——这是Coze能识别的信号。

Qwen Api
Qwen Api

通义千问 API 助手,熟练调用 Qwen 模型、DashScope SDK、多模态与 Agent 开发

下载

暴露本地服务至Coze云端:ngrok或cloudflared任选其一

Coze服务器不在你局域网内,必须把本地8000端口(或4000端口)变成公网HTTPS地址,否则Bot配置里的Endpoint永远连不上。

第一步:注册ngrok账号,下载客户端,执行ngrok config add-authtoken <your_token>;
第二步:运行ngrok http 8000,获取形如https://abc123.ngrok-free.app的临时域名;
第三步:立即验证——用curl发请求:curl https://abc123.ngrok-free.app/v1/models,必须返回模型列表,否则Coze后续调用必失败。

替代方案:用cloudflared(更稳定,无免费额度限制)
下载cloudflared二进制文件 → 运行cloudflared tunnel --url http://localhost:8000 → 复制生成的*.trycloudflare.com地址;
注意:cloudflared默认启用HTTPS强制跳转,Coze调用时Endpoint必须写https://开头,不能写http://。

【关键提醒】ngrok每次重启地址都会变,切勿把临时URL写死在生产Bot配置中;测试通过后,建议用cloudflared绑定自定义子域名(如llama3.internal.yourcoze.com),避免反复更新。

在Coze Bot中完成最终配置与测试

进入Bot后台 →「Bot设置」→「高级设置」→「大模型」→「添加自定义模型」;

填写三项核心参数:
① 模型名称:随意,例如local-llama3-8b;
② API Endpoint:粘贴上一步获得的ngrok或cloudflared HTTPS地址,末尾不加任何路径,只填根域名,例如https://abc123.ngrok-free.app;
③ 模型ID:必须与FastChat或LiteLLM中定义的model_name完全一致,例如llama3-8b。

点击「测试连接」,Coze会发送一个预设请求到你的桥接服务;若返回HTTP 200且响应体含"choices"字段,表示通路已通;若卡住或报错,重点检查FastChat是否监听0.0.0.0、ngrok是否转发成功、模型ID大小写是否匹配。

测试通过后,保存配置,回到Bot工作流,将原LLM节点替换为这个新模型;发送消息“你好”,观察Bot是否返回由本地Llama 3生成的响应——此时所有推理均发生在你自己的机器上,数据零出域。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

494

2026.06.05

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

394

2026.06.05

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

487

2026.06.05

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

0

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

0

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

0

2026.10.16

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

0

2026.10.16

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn