本地编程助手 — 跨设备集群运行代码模型

在您自己的硬件上运行最佳的开源编程模型。DeepSeek-Coder、Codestral、StarCoder 和 Qwen-Coder 可跨您的多台设备智能调度 —— 集群会为每次代码生成请求自动选择最合适的机器。

您的代码始终保留在本地网络内，不会外传。无需 GitHub Copilot 订阅，也无需支付云 API 费用。

可用的编程模型

快速开始

pip install ollama-herd    # PyPI: https://pypi.org/project/ollama-herd/
herd                       # 启动路由服务（监听端口 11435）
herd-node                  # 在每台设备上运行 —— 自动发现路由服务

安装过程中不会下载任何模型。所有模型拉取操作均需用户显式确认。

代码生成

编写新代码

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11435/v1", api_key="not-needed")

response = client.chat.completions.create(
    model="codestral",
    messages=[{"role": "user", "content": "用 Python 编写一个线程安全、支持 TTL 的 LRU 缓存"}],
)
print(response.choices[0].message.content)

代码审查

curl http://localhost:11435/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{
    "model": "deepseek-coder-v2:16b",
    "messages": [{"role": "user", "content": "审查以下代码是否存在 Bug 和安全问题：nn```pythonndef process_payment(amount, card_number):n    ...n```"}]
  }'

代码重构

curl http://localhost:11435/api/chat -d '{
  "model": "qwen2.5-coder:32b",
  "messages": [{"role": "user", "content": "将以下代码重构为使用 async/await：..."}],
  "stream": false
}'

与主流 IDE 工具无缝集成

该集群在 http://localhost:11435/v1 提供兼容 OpenAI 的 API 接口。您可将任意编程工具指向该地址：

根据设备内存选择合适模型

跨平台说明：以下为示例配置。任何具备同等内存容量的设备（Mac / Linux / Windows）均可运行对应模型。

查看当前运行状态

# 查看内存中已加载的模型
curl -s http://localhost:11435/api/ps | python3 -m json.tool

# 查看所有可用模型
curl -s http://localhost:11435/api/tags | python3 -m json.tool

# 查看最近的代码请求追踪记录（最多 5 条）
curl -s "http://localhost:11435/dashboard/api/traces?limit=5" | python3 -m json.tool

该集群还支持以下能力

通用大语言模型（LLM）

Llama 3.3、Qwen 3.5、DeepSeek-R1、Mistral Large —— 均可通过同一 API 端点执行非代码类任务。

图像生成

curl http://localhost:11435/api/generate-image 
  -d '{"model": "z-image-turbo", "prompt": "developer workspace illustration", "width": 512, "height": 512}'

语音转文字（Speech-to-text）

curl http://localhost:11435/api/transcribe -F "file=@standup.wav" -F "model=qwen3-asr"

完整文档

• Agent 部署指南 —— 支持全部 4 类模型
• API 参考手册 —— 完整的接口文档

安全防护机制

• 模型下载需用户显式确认 —— 编程模型体积范围为 2GB 至 130GB+，每次拉取前均须手动确认。
• 模型删除需用户显式确认。
• 请勿删除或修改 ~/.fleet-manager/ 目录下的任何文件。
• 所有模型均不会自动下载 —— 所有拉取操作均由用户主动发起或需用户明确授权。
• 您的代码完全本地化 —— 所有提示词（prompts）和生成的代码均不会离开您的本地网络。