必须通过反向代理(如ngrok)将本地Ollama的127.0.0.1:11434映射为公网HTTPS地址,并在Coze中配置该地址为API Endpoint、模型ID严格填llama3:8b,才能调用本地Llama 3模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要在扣子(Coze)中调用你本地电脑上通过Ollama运行的Llama 3模型,必须绕过Coze官方不支持直连本地服务的限制,采用反向代理+API协议桥接的方式实现。Coze只接受符合OpenAI兼容接口规范的HTTP端点,且要求服务可被其服务器网络访问,而你的Ollama默认只监听127.0.0.1:11434,外部不可达。
确认Ollama服务已正确暴露API
在终端执行 ollama serve,等待日志中出现 Listening on 127.0.0.1:11434 ——这表示服务已启动,但仅限本机访问。
Coze无法直接访问localhost,所以你必须让Ollama API能被公网或至少被Coze后端临时探测到。最稳妥的做法是使用本地反向代理工具(如ngrok或cloudflared)将127.0.0.1:11434映射为一个临时HTTPS地址。
运行 ngrok http 11434(需提前注册ngrok账号并配置authtoken),获取类似 https://abcd-1234-5678-90ef.ngrok-free.app 的URL。注意:该地址每次重启ngrok都会变化,仅用于测试。
【必须验证】 在浏览器中打开该ngrok地址,应返回 {"models": [...]} 或 Ollama is running。若显示404或连接拒绝,说明Ollama未真正监听或ngrok未正确转发。
准备Llama 3模型并确认tag完整
在本地终端运行:ollama pull llama3:8b。下载完成后,执行 ollama list,确保输出中明确包含一行:llama3 8b b1e1a7d6c9f3 4.7 GB。
Coze调用时必须使用带完整tag的模型名,仅写llama3会失败。Ollama不会自动匹配latest,【模型名必须为llama3:8b】,不能省略:8b。
如果想验证模型是否就绪,可手动发一个curl请求:curl -X POST https://abcd-1234-5678-90ef.ngrok-free.app/api/chat -H "Content-Type: application/json" -d '{"model":"llama3:8b","messages":[{"role":"user","content":"你好"}]}'。看到JSON响应含"message":{"role":"assistant","content":"..."}才算通路正常。
在Coze Bot中配置自定义LLM
进入Coze Bot后台 →「Bot设置」→「高级设置」→「大模型」→「添加自定义模型」。
填写以下三项:
① 模型名称:随意填写,例如local-llama3-8b;
② API Endpoint:粘贴上一步获得的ngrok HTTPS地址,末尾不加/v1或/api/chat,只填根域名,例如https://abcd-1234-5678-90ef.ngrok-free.app;
③ 模型ID:严格填写llama3:8b;
认证方式选「无认证」,因为Ollama默认不设密钥;超时时间建议设为120秒,避免因模型加载慢导致中断。
保存后,回到Bot对话流中,在任意节点选择「大模型」类型节点,下拉模型列表即可看到你刚添加的local-llama3-8b。选中它,发布Bot。


















