DeepSeek系列模型已部分开源，提供GitHub仓库、Hugging Face和ModelScope三种获取渠道，并支持llama.cpp、Transformers+AutoGPTQ及Ollama三种本地部署方式。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
DeepSeek系列模型已实现部分开源，包括DeepSeek-V2、DeepSeek-Coder、DeepSeek-MoE等架构的权重与推理代码，官方代码仓库托管于GitHub，模型文件支持Hugging Face和ModelScope平台下载。本地部署需结合硬件环境、依赖库及模型量化策略完成。以下是具体操作路径：
一、确认模型开源状态与获取渠道
DeepSeek官方明确开源了多个版本的模型权重与推理代码，但未开源全部训练细节与完整数据集。开源内容涵盖基础语言模型、代码专用模型及多专家混合架构（MoE）变体。用户可通过合法授权渠道获取模型文件，避免使用非官方镜像或破解资源。
1、访问DeepSeek官方GitHub仓库（https://github.com/deepseek-ai），核对Releases标签页中最新发布的模型版本。
2、在Hugging Face Hub搜索deepseek-ai组织主页，筛选text-generation任务类型，选择带q4_k_m或Q5_K_M后缀的GGUF格式量化模型。
3、若使用国内网络环境，可同步访问魔搭（ModelScope）平台，搜索“DeepSeek”并选择标注为开源与可商用的模型卡片，点击“模型文件”下载bin或safetensors格式权重。
二、准备兼容的运行环境
本地部署依赖CUDA加速与Python生态支持，环境配置直接影响模型加载成功率与推理稳定性。需严格匹配显卡驱动、CUDA Toolkit与PyTorch版本，避免因ABI不兼容导致core dump或GPU不可见。
1、执行nvidia-smi命令，记录显卡型号与驱动版本；对照NVIDIA官网文档确认该驱动支持的最高CUDA版本。
2、下载对应CUDA Toolkit（推荐CUDA 11.8或CUDA 12.1），安装时取消勾选NVIDIA Driver组件，仅安装Runtime与Toolkit。
3、使用conda创建隔离环境：conda create -n ds-env python=3.10，激活后执行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118（CUDA 11.8场景）。
三、采用llama.cpp方式部署量化模型
llama.cpp提供纯C/C++实现的推理引擎，支持GGUF格式模型，内存占用低且兼容CPU/GPU混合推理，适合显存有限或无NVIDIA显卡的设备。
1、克隆仓库：git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make clean && make -j。
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
2、将下载的deepseek-7b-q4_k_m.gguf文件放入models/子目录。
3、启动交互式推理：./main -m models/deepseek-7b-q4_k_m.gguf -n 512 -t 8 -ngl 40，其中-ngl 40表示将前40层卸载至GPU加速。
四、使用Transformers + AutoGPTQ加载INT4模型
该方式保留PyTorch完整生态，支持LoRA微调与自定义Tokenizer，适用于需二次开发或集成至Web服务的场景。依赖AutoGPTQ库进行权重量化加载，要求显存≥8GB（7B模型）。
1、安装依赖：pip install transformers accelerate auto-gptq optimum。
2、编写加载脚本，设置device_map="auto"与trust_remote_code=True参数。
3、调用model = AutoModelForCausalLM.from_pretrained("path/to/model", device_map="auto", quantization_config=quant_config)完成实例化，其中quant_config由GPTQConfig(bits=4, disable_exllama=True)构造。
五、通过Ollama一键封装与运行
Ollama提供类Docker的模型管理机制，支持将GGUF模型打包为可执行镜像，简化跨平台部署流程，适合快速验证与CLI交互场景。
1、安装Ollama客户端（macOS/Linux支持ARM/x86，Windows需WSL2）。
2、创建Modelfile：FROM ./deepseek-7b-q4_k_m.gguf，添加PARAMETER num_gpu 40指定GPU层卸载数。
3、构建并运行：ollama create deepseek7b -f Modelfile && ollama run deepseek7b，启动后即可通过curl http://localhost:11434/api/chat接入HTTP API。
