Ollama 不直接支持 Jev 模型,需手动构建 Modelfile 并加载其 GGUF 权重文件;Jev 开源且提供 .gguf 格式,可从 Hugging Face 或 GitHub 获取,再通过 ollama create 和 run 本地部署。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Ollama 本身不直接提供 Jev 模型的官方支持,因为 Jev 并非托管在 Ollama 官方模型库(ollama.com/library)中。它是一个独立开源推理模型,需通过自定义方式接入——不是简单执行 ollama run jev 就能拉取,而是要手动构建 Modelfile 并加载其权重文件。
确认 Jev 模型是否已开源可本地运行
Jev 当前为开源模型,公开提供 GGUF 格式权重(适配 llama.cpp/Ollama),但不发布于 Ollama Hub。你需从其官方发布渠道获取模型文件(如 Hugging Face 或项目 GitHub Release 页面)。常见路径包括:
- Hugging Face 主页(搜索
huihui-ai/jev或类似命名空间) - GitHub 仓库(如
github.com/huihui-ai/jev)的releases标签页 - 确保下载的是
.gguf文件(例如jev-q4_k_m.gguf),这是 Ollama 能识别的格式
准备 Modelfile 构建本地 Jev 模型
Ollama 通过 Modelfile 声明基础格式、参数和权重路径。新建一个纯文本文件,命名为 Modelfile,内容如下(请按实际路径和量化级别调整):
FROM ./jev-q4_k_m.gguf
PARAMETER num_ctx 4096
PARAMETER stop "```"
PARAMETER stop "<|eot_id|>"
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
{{ .Response }}{{ end }}"""
-
FROM行必须指向你本地存放的.gguf文件的相对或绝对路径 -
num_ctx设置上下文长度,Jev 推荐值通常为 4096 或 8192 -
stop和TEMPLATE需匹配 Jev 原始训练使用的 tokenizer 与对话模板(参考其 GitHub README)
构建并运行 Jev 模型
确保 Modelfile 和 .gguf 文件在同一目录下,打开终端(PowerShell / Terminal),执行:
ollama create jev -f Modelfile ollama run jev
-
ollama create将解析 Modelfile、校验 GGUF、生成 Ollama 可识别的模型层(约数秒至数十秒) - 首次
run会加载模型到内存,若提示error: could not load model,大概率是 GGUF 路径错误或不兼容量化格式(换用q5_k_m或q8_0版本重试) - 成功后即可交互,输入测试指令如“请用 JSON 输出:{name: 'Jev', type: 'reasoning'}”验证结构化输出能力
验证与后续使用
运行以下命令确认模型已注册:
ollama list
输出中应包含 jev 及对应 tag(如 latest)。你还可以:
- 通过
curl http://127.0.0.1:11434/api/chat调用本地 API - 在 OpenClaw、ChatBox 或 AnythingLLM 中配置 Ollama 地址(
http://127.0.0.1:11434)后选择jev模型 - 如需多版本管理,可在 Modelfile 中添加
ADD jev-q5_k_m.gguf ./并用不同名称构建(如ollama create jev:q5)


















