llmfit-advisor

面向硬件的本地 LLM 推荐工具。自动检测系统配置（内存、CPU、GPU/显存），并推荐真正适配的模型，同时提供最优量化方案与推理速度预估。

适用场景（触发词）

当用户提出以下任一问题时，请立即调用该能力：

• “我能运行哪些本地模型？”
• “哪些 LLM 适配我的硬件？”
• “推荐一个本地模型”
• “我的 GPU 上最适合运行哪个模型？”
• “我能在本地运行 Llama 70B 吗？”
• “配置本地模型”
• “设置 Ollama 模型”
• “哪些模型适配我的显存？”
• “帮我选一个适合编程的本地模型”

此外，在以下情况中也应调用该能力：

• 用户希望配置 models.providers.ollama 或 models.providers.lmstudio
• 用户提及本地运行模型，而你需要确认其硬件能否支持
• 需要给出模型推荐，且用户具备本地推理能力（Ollama、vLLM、LM Studio）

快速上手

检测硬件

llmfit --json system

返回 JSON 格式结果，包含 CPU 型号、总内存（GB）、GPU 型号、显存（GB）、多 GPU 信息，以及是否采用统一内存（Apple Silicon）。

获取最佳推荐

llmfit recommend --json --limit 5

返回适配当前硬件的前 5 个模型，按综合得分（质量、速度、适配度、上下文能力）排序，并附带针对该硬件的最优量化格式。

按使用场景筛选

llmfit recommend --json --use-case coding --limit 3
llmfit recommend --json --use-case reasoning --limit 3
llmfit recommend --json --use-case chat --limit 3

支持的使用场景包括：general、coding、reasoning、chat、multimodal、embedding。

按最低适配等级筛选

llmfit recommend --json --min-fit good --limit 10

有效适配等级（由优到劣）：perfect、good、marginal。

输出结果解析

系统信息 JSON 示例

{
  "system": {
    "cpu_name": "Apple M2 Max",
    "cpu_cores": 12,
    "total_ram_gb": 32.0,
    "available_ram_gb": 24.5,
    "has_gpu": true,
    "gpu_name": "Apple M2 Max",
    "gpu_vram_gb": 32.0,
    "gpu_count": 1,
    "backend": "Metal",
    "unified_memory": true
  }
}

推荐结果 JSON 结构

models 数组中每个模型对象包含以下字段：

适配等级说明

• Perfect：模型轻松适配，内存余量充足，为理想选择。
• Good：模型可适配，但几乎占满可用内存；性能表现良好。
• Marginal：模型仅勉强适配；可能运行，但性能下降或上下文长度受限。
• TooTight：模型无法适配；切勿推荐。

运行模式说明

• GPU：全 GPU 推理，最快；模型权重全部加载至显存中。
• CPU+GPU Offload：部分层运行于 GPU，其余驻留于系统内存；速度慢于纯 GPU 模式。
• CPU Only：全部推理在 CPU 上完成，依赖系统内存；最慢，但无需 GPU 即可运行。

基于推荐结果配置 OpenClaw

获取推荐后，请根据结果配置用户的本地模型提供方。

Ollama 配置方式

将 HuggingFace 模型名映射为其对应的 Ollama tag。常见映射关系如下：

随后更新 openclaw.json 文件：

{
  "models": {
    "providers": {
      "ollama": {
        "models": ["ollama/"]
      }
    }
  }
}

如需设为默认模型，可额外添加（可选）：

{
  "agents": {
    "defaults": {
      "model": {
        "primary": "ollama/"
      }
    }
  }
}

vLLM / LM Studio 配置方式

直接使用 HuggingFace 模型名作为模型标识符，并加上对应提供方前缀（vllm/ 或 lmstudio/）。

典型工作流示例

当用户提问：“我能运行哪些本地模型？”时：

1. 执行 llmfit --json system 展示硬件概览
2. 执行 llmfit recommend --json --limit 5 获取前五推荐
3. 向用户展示各模型得分及适配等级
4. 若用户希望配置某模型，则将其映射为对应 Ollama/vLLM/LM Studio tag
5. 主动提供帮助，将所选模型写入 openclaw.json

当用户提问特定场景需求，例如：“推荐一个编程专用模型”时：

1. 执行 llmfit recommend --json --use-case coding --limit 3
2. 向用户展示专为编程优化的推荐列表
3. 主动提供通过 Ollama 拉取并完成配置的服务

注意事项

• llmfit 支持检测 NVIDIA GPU（通过 nvidia-smi）、AMD GPU（通过 rocm-smi）及 Apple Silicon（统一内存架构）。
• 多 GPU 配置下，显存容量将自动跨卡聚合计算。
• best_quant 字段指示最优量化格式；量化等级越高（如 Q6_K、Q8_0），在显存允许前提下质量越好。
• 速度预估（estimated_tps）为近似值，实际表现受具体硬件与量化格式影响。
• 所有 fit_level: "TooTight" 的模型均不可向用户推荐。