Qoder运行本地大模型需确保模型路径、格式、依赖库三者严格匹配；仅支持Hugging Face因果语言模型，须含config.json、pytorch_model.bin（或safetensors）、tokenizer.json（或tokenizer.model）；依赖torch 2.0.1、transformers 4.35.0等特定版本。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Qoder中成功配置并运行本地大语言模型，必须确保模型路径、格式、依赖库三者严格匹配，任意一项不满足将导致启动失败或推理卡死。
确认Qoder支持的模型类型与格式
Qoder当前（2026年7月）仅支持Hugging Face标准格式的因果语言模型（CausalLM），且要求模型已包含config.json、pytorch_model.bin（或safetensors）、tokenizer.json（或tokenizer.model）三类核心文件。不支持GGUF、AWQ、EXL2等推理专用格式——若你手头是qwen2.5-7b-int4这类量化模型，请先用transformers加载后保存为HF原生格式。
验证方法：进入模型目录执行ls -l | grep -E "(config|tokenizer|pytorch|safetensors)"，缺任一关键文件即不可用。
准备本地模型文件
方法一：从ModelScope下载官方未量化版本（推荐新手）
在终端中执行：pip install modelscope && modelscope download --model qwen/Qwen2.5-7B --local_dir ./qwen25-7b-hf。该命令会自动下载完整HF结构，含trust_remote_code所需脚本。
方法二：使用Hugging Face CLI（需提前登录）
huggingface-cli download qwen/Qwen2.5-7B --local-dir ./qwen25-7b-hf --include "config.json,pytorch_model*.bin,tokenizer*。注意不能漏掉generation_config.json，否则Qoder生成时可能无响应。
【务必删除.gitattributes和README.md以外的所有非模型文件】——Qoder扫描目录时若遇到.git子目录或onnx/文件夹会报错退出。
安装Qoder运行依赖
第一步：创建独立Python环境
python3.10 -m venv qoder-env && source qoder-env/bin/activate（Linux/macOS）；Windows用户用qoder-env\Scripts\activate.bat。
第二步：安装核心包
执行pip install torch==2.0.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118，CUDA版本必须与nvidia-smi显示的驱动兼容。若用CPU模式，则改用cpu后缀版本。
第三步：装Qoder专属依赖
pip install transformers==4.35.0 accelerate==0.23.0 sentencepiece protobuf==3.20.*。特别注意protobuf必须锁定3.20.*，高版本会导致Qoder解析config失败。
启动Qoder并绑定本地模型
① 进入Qoder安装目录，编辑config.yaml文件
将model_path:字段值改为绝对路径，例如/home/user/qwen25-7b-hf（Linux）或C:\models\qwen25-7b-hf（Windows）。路径末尾不加斜杠，且不能有中文或空格。
② 设置设备参数
在device: auto下方新增两行：load_in_4bit: false（除非你明确做了4bit量化）和use_flash_attention_2: true（A100/H100显卡必开，否则吞吐下降40%以上）。
③ 启动服务
运行python app.py。首次加载时会编译FlashAttention内核，约耗时90秒，控制台出现Qoder server started at http://127.0.0.1:7860即表示成功。
