家庭实验室 AI — 你的闲置设备即集群

你家中实验室里有若干闲置设备：壁橱里的迷你 PC、桌面上的工作站，或许还有一台正在执行轻量任务的台式机。这些设备合在一起，其算力已远超多数云服务实例——你只需一款能将它们统一视为一个家庭实验室系统的软件即可。支持 macOS、Linux 和 Windows。

Ollama Herd 将你的家庭实验室转变为本地 AI 集群：仅需一个家庭实验室接入端点，零配置，支持四种模型类型。

你的家庭实验室获得的能力

设备 1（32GB）    ─┐
设备 2（64GB）     ├──→  家庭实验室路由器（:11435）  ←──  你的应用 / 智能体
设备 3（256GB）   ─┘

• 家庭实验室大语言模型推理 — 支持 Llama、Qwen、DeepSeek、Phi、Mistral、Gemma
• 家庭实验室图像生成 — 支持 Stable Diffusion 3、Flux、z-image-turbo
• 家庭实验室语音转文字 — 支持 Qwen3-ASR 转录
• 家庭实验室嵌入向量 — 支持 nomic-embed-text、mxbai-embed（适用于 RAG）

所有请求均自动路由至当前最适宜的家庭实验室设备。

家庭实验室部署（5 分钟）

在每一台家庭实验室设备上执行：

pip install ollama-herd    # 家庭实验室 AI 路由器

选定其中一台家庭实验室设备作为路由器：

herd    # 启动家庭实验室路由器

在其余所有家庭实验室设备上执行：

herd-node    # 自动加入家庭实验室设备集群

完成。家庭实验室设备将在本地网络中自动发现彼此。无需手动配置 IP 地址、配置文件，也无需 Docker 或 Kubernetes。

可选：添加家庭实验室图像生成功能

uv tool install mflux           # Flux 模型（家庭实验室中速度最快）
uv tool install diffusionkit    # Stable Diffusion 3/3.5

使用你的家庭实验室

家庭实验室大语言模型对话

from openai import OpenAI

# 家庭实验室推理客户端
homelab_client = OpenAI(base_url="http://localhost:11435/v1", api_key="not-needed")
homelab_response = homelab_client.chat.completions.create(
    model="llama3.3:70b",
    messages=[{"role": "user", "content": "如何搭建家庭实验室 NAS？"}],
    stream=True,
)
for chunk in homelab_response:
    print(chunk.choices[0].delta.content or "", end="")

家庭实验室图像生成

curl -o homelab_output.png http://localhost:11435/api/generate-image 
  -H "Content-Type: application/json" 
  -d '{"model": "z-image-turbo", "prompt": "a cozy home lab with servers and RGB lighting", "width": 1024, "height": 1024}'

家庭实验室语音转文字

curl http://localhost:11435/api/transcribe -F "file=@homelab_standup.wav" -F "model=qwen3-asr"

家庭实验室知识库

curl http://localhost:11435/api/embed 
  -d '{"model": "nomic-embed-text", "input": "home lab networking and AI inference best practices"}'

家庭实验室如何路由请求

家庭实验室路由器基于 7 类信号对每台设备进行评分，并自动选择最优设备：

你无需管理上述任何一项——全部由家庭实验室路由器自动处理。

家庭实验室仪表盘

在浏览器中打开 http://localhost:11435/dashboard —— 你的家庭实验室指挥中心：

• 家庭实验室设备集群概览 — 查看所有设备、已加载模型、队列深度、健康状态
• 趋势图表 — 过去 24 小时至 7 天的家庭实验室请求量、延迟、Token 吞吐量
• 健康检查 — 内置 15 项自动化家庭实验室检测及优化建议
• 优化建议 — 基于你的硬件配置，为每台设备推荐最优模型组合

按设备推荐的家庭实验室模型

跨平台支持：以下为示例配置。任何具备等效内存容量的设备（Mac、Linux、Windows）均可运行。设备集群路由器本身支持所有平台。

家庭实验室路由器内置模型推荐器将为你提供最优模型组合：GET /dashboard/api/recommendations。

兼容所有家庭实验室工具

家庭实验室设备集群对外暴露 OpenAI 兼容 API。所有支持 OpenAI 的工具均可直接对接你的家庭实验室：

完整文档

• 智能体部署指南 — 覆盖全部 4 类家庭实验室模型
• 图像生成指南 — 支持 3 种家庭实验室图像后端
• 配置参考手册 — 超过 44 个环境变量说明
• 故障排查 — 常见家庭实验室问题解决方案

参与贡献

Ollama Herd 是开源项目（MIT 协议），由家庭实验室爱好者为家庭实验室爱好者构建：

• GitHub Star — 帮助其他家庭实验室建设者发现我们
• 提交 Issue — 分享你的家庭实验室配置、报告 Bug
• 欢迎提交 Pull Request（PR） — 人类开发者与 AI 智能体均可参与。CLAUDE.md 文件提供完整上下文。
• 由两位常驻阿拉斯加的双胞胎兄弟开发，他们自己也在运行一套家庭实验室设备集群。

家庭实验室安全守则

• 禁止自动下载 — 家庭实验室模型拉取必须经用户显式确认。部分模型体积超过 70GB。
• 家庭实验室模型删除必须经用户显式确认。
• 所有家庭实验室请求均保留在本地 — 数据永不离开你的家庭网络。
• 切勿删除或修改 ~/.fleet-manager/ 目录下的任何文件（该目录存储家庭实验室路由数据与日志）。
• 无云依赖 — 初始模型下载完成后，你的家庭实验室可完全离线运行。