Hermes Agent本身不依赖GPU，运行能力取决于所对接的Ollama等推理引擎的硬件适配策略；支持纯CPU运行、GPU加速及CPU+GPU混合部署三种方案。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您计划在本地运行Hermes Agent，但不确定是否必须配备独立显卡，则需明确：Hermes Agent本身不直接依赖GPU，其运行能力取决于所对接的底层大模型推理引擎（如Ollama）所采用的模型与硬件适配策略。以下是针对CPU运行与GPU加速差异的详细说明：
一、CPU运行方案
CPU运行是指完全依靠中央处理器执行模型推理，无需NVIDIA或AMD GPU参与计算。该方式适用于无独显设备（如办公笔记本、老旧台式机、MacBook Air）、内网隔离环境或对数据隐私有极致要求的离线场景。Ollama支持纯CPU后端（通过llama.cpp等量化运行时），所有Gemma 4、Qwen2.5、Llama3.1等主流模型均可在足够内存条件下启动，仅速度较慢。
1、确认系统已安装Ollama并处于最新版本（v0.4.5+）；
2、拉取适合CPU运行的量化模型，例如：ollama pull qwen2.5:7b-q4_k_m 或 ollama pull gemma4:e4b-q4_k_m；
3、在Hermes Agent配置文件~/.hermes/config.yaml中指定Ollama服务地址与模型名，确保base_url为http://localhost:11434；
4、启动Hermes Agent，观察日志中是否出现Using CPU backend或llama.cpp loaded字样以确认CPU路径生效。
二、GPU加速方案
GPU加速利用显卡的并行计算单元（CUDA核心或ROCm流处理器）大幅提升模型推理吞吐量与响应速度，尤其在处理长上下文、多轮对话或复杂工具调用时优势显著。NVIDIA显卡（GeForce RTX 30/40系列、Tesla T4/A10、RTX 6000 Ada等）配合CUDA 12+驱动可实现完整加速支持；AMD显卡暂不被Ollama官方原生支持，需手动编译ROCm版本。
1、验证NVIDIA驱动与CUDA工具包已正确安装，执行nvidia-smi应显示GPU型号与驱动版本；
本地音视频转录整理技能 — 接收音频、视频、播客链接、字幕、原始转写稿或未整理文字，完成 ASR 转录（本地 faster-whisper / mlx-whisper）、文本清洗整理，输出分享式提纯版中文原文到本地 .txt 文件。所有产物保存在本地。
2、安装支持CUDA的Ollama版本（Windows/macOS从官网下载CUDA-enabled build；Linux使用curl -fsSL https://ollama.com/install.sh | sh自动识别）；
3、拉取未量化或高精度模型，例如：ollama pull qwen2.5:32b 或 ollama pull llama3.1:70b；
4、运行OLLAMA_NUM_GPU=1 ollama run qwen2.5:32b强制启用GPU加载，观察终端输出中loaded in X.XX seconds using Y threads and Z GPU layers字段确认GPU层加载数量。
三、混合部署方案
混合部署指在同一系统中同时启用CPU与GPU资源，由Ollama根据模型结构自动分配计算负载——将注意力层等高并行模块卸载至GPU，而词嵌入、归一化等低并行度操作保留在CPU执行。该模式可在有限显存（如8GB）下运行更大参数量模型，兼顾速度与内存效率。
1、确保GPU显存充足（≥12GB推荐用于32B级模型），且Ollama检测到可用GPU设备；
2、设置环境变量启用混合推理：export OLLAMA_GPU_LAYERS=35（数值依模型实际层数调整，可通过ollama show --modelfile qwen2.5:32b查看总层数）；
3、启动模型时添加--num-gpu 1参数，例如：ollama run --num-gpu 1 qwen2.5:32b；
4、检查Ollama日志中是否显示offloading N layers to GPU及剩余on CPU层数，确认混合分配成功。
