需完成模型服务部署、API参数配置与提示词适配三重环节:一、用vLLM本地部署DeepSeek-V3并监听8000端口;二、在WorkBuddy添加自定义模型,Base URL为http://127.0.0.1:8000/v1,模型ID为deepseek-v3;三、将系统提示词替换为DeepSeek-V3专用轻量模板。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您希望在WorkBuddy中使用DeepSeek-V3模型进行高质量代码生成或复杂推理任务,则需完成模型服务部署、API参数配置与提示词适配三重环节。以下是实现该目标的详细配置步骤:
一、部署DeepSeek-V3本地推理服务
DeepSeek-V3不以内置方式集成于WorkBuddy,必须先在本地启动兼容OpenAI格式的HTTP推理接口,使WorkBuddy可通过标准v1/chat/completions路径调用。该服务是后续所有配置生效的前提。
1、创建Python虚拟环境并安装依赖:
conda create -n deepseek-v3 python=3.10 && conda activate deepseek-v3
pip install torch==2.1.0 transformers==4.36.0 accelerate==0.26.0 vLLM==0.4.2
2、从Hugging Face下载模型权重(需提前注册账号并申请deepseek-ai/deepseek-v3访问权限):
git lfs install
git clone https://huggingface.co/deepseek-ai/deepseek-v3
3、使用vLLM启动服务,监听本地8000端口:
vllm serve --model deepseek-ai/deepseek-v3 --dtype bfloat16 --tensor-parallel-size 1 --port 8000 --host 127.0.0.1
4、验证服务连通性:
curl -X POST http://127.0.0.1:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"deepseek-v3","messages":[{"role":"user","content":"Hello"}]}'
二、在WorkBuddy中添加自定义DeepSeek-V3模型
WorkBuddy通过“AI模型→添加自定义模型”入口注入外部LLM,要求严格遵循OpenAI兼容协议;若Base URL或模型ID不匹配,将返回404 Not Found或500 Internal Server Error。
1、打开WorkBuddy客户端,点击右上角头像进入【设置】,选择【AI模型】选项卡。
2、点击右下角【+ 添加模型】按钮,在弹出表单中填写以下内容:
模型名称:DeepSeek-V3
API基础地址:http://127.0.0.1:8000/v1
API密钥:留空(vLLM默认未启用鉴权)
3、在“模型ID”字段中输入与vLLM启动时--model参数完全一致的标识:deepseek-v3
4、点击【保存】后,观察状态栏是否显示“模型校验中”,数秒后若出现绿色对勾即表示接入成功。
三、替换系统提示词模板以适配DeepSeek-V3对话结构
DeepSeek-V3对system角色指令高度敏感,若沿用WorkBuddy默认模板(含多轮历史摘要与格式约束),会导致响应截断、拒绝生成或输出非预期JSON结构。必须手动覆盖为DeepSeek训练时所采用的轻量级system schema。
统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
1、在刚添加的DeepSeek-V3模型配置项右侧,点击【高级设置】展开区域。
2、将“系统提示词模板”字段中原有内容全部清空,替换为以下纯文本:
You are a highly capable AI assistant based on DeepSeek-V3. You excel at code generation, logical reasoning, and multi-step problem solving. Respond concisely and accurately in English unless explicitly instructed otherwise.
3、关闭高级设置面板,再次点击【保存】以使新模板生效。
四、启用多模型热切换并设为会话默认
仅完成模型添加并不自动启用其参与推理;必须开启全局热切换开关,并在当前会话或偏好设置中明确指定DeepSeek-V3为活跃模型,否则系统仍将调用默认混元模型。
1、返回【设置】→【AI模型管理】,确保「启用多模型热切换」滑动开关已置为开启状态(呈蓝色)。
2、在模型列表中找到DeepSeek-V3条目,点击右侧【设为默认】按钮。
3、若需在特定会话中临时使用该模型:在主界面任意对话框右侧点击当前模型图标,从下拉菜单中选择DeepSeek-V3,随后发送消息即可触发调用。
五、验证模型响应与错误排查要点
配置完成后需执行最小化测试,确认端到端链路无阻断;常见失败点集中于网络可达性、模型ID一致性及HTTP header兼容性,而非WorkBuddy客户端本身。
1、在WorkBuddy主界面新建对话,输入指令:“输出Python代码,实现快速排序算法。”
2、观察响应是否包含完整可执行代码块,且无乱码、截断或报错信息。
3、如遇响应延迟超15秒,检查vLLM进程是否仍在运行,以及终端是否输出CUDA out of memory警告;此时需在vLLM启动命令中加入--gpu-memory-utilization 0.85参数限制显存占用。
4、如返回“Model not found”,请核对WorkBuddy中填写的模型ID是否与curl测试时-d参数中model字段值完全一致,包括大小写与连字符。


















