必须采用vLLM框架部署DeepSeek模型以实现低延迟高吞吐，其在单张A100上可使7B模型达230+ tokens/s；需Ubuntu 22.04、CUDA 12.2、Python 3.10 conda环境，并严格配置gpu-memory-utilization与max-model-len等关键参数。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在本地运行DeepSeek大语言模型并获得低延迟、高吞吐的推理服务，必须绕过传统PyTorch加载方式，直接采用vLLM框架启动服务——它能将7B模型在单张A100上跑出230+ tokens/s的实测速度，且无需手动管理KV缓存或写API胶水代码。
硬件与系统环境准备
确认GPU型号和驱动状态：执行 nvidia-smi，输出中需显示“CUDA Version: 12.x”且显存可用率高于85%。若版本低于12.1，必须升级驱动，否则vLLM 0.4+会编译失败并静默退出。
安装Ubuntu 22.04 LTS（不推荐24.04），用sudo apt install linux-headers-$(uname -r)补全内核头文件——缺失会导致后续CUDA模块加载报错“nv_peer_mem: disagrees about version of symbol struct_module”。
创建conda环境：conda create -n ds_vllm python=3.10 && conda activate ds_vllm。这一步不可跳过，vLLM与系统Python 3.12存在ABI冲突，强制使用会导致torch._C符号解析失败。
安装CUDA Toolkit 12.2：从NVIDIA官网下载runfile，执行sudo sh cuda_12.2.2_535.107.02_linux.run --silent --toolkit --override。注意：不能用apt源安装，deb包缺少libnvjitlink.so，vLLM初始化时会卡在“waiting for CUDA context”达90秒后超时。
安装vLLM与验证基础功能
执行pip install vllm==0.4.2。不要加[cuda122]后缀——该标记在0.4.2中已被移除，强行添加会触发pip回退到0.3.2版本，丢失PagedAttention对DeepSeek-R1的MoE路由优化支持。
运行验证命令：python -c "from vllm import LLM; llm = LLM('facebook/opt-125m'); print('OK')"。若输出OK，说明CUDA kernel注入成功；若报RuntimeError: Not compiled with CUDA，说明上一步的CUDA路径未被gcc识别，需手动导出export CUDA_HOME=/usr/local/cuda-12.2并重装vLLM。
这一步操作起来很简单，直接把命令复制粘贴执行就行。
下载并部署DeepSeek模型
方法一：直接从Hugging Face Hub拉取（适合有稳定网络）
执行vllm serve deepseek-ai/DeepSeek-V2 --host 0.0.0.0 --port 8000 --tensor-parallel-size 1 --dtype bfloat16。首次运行会自动下载约12GB权重，进度条卡在99%超过5分钟属正常——这是Hugging Face的分块校验机制，不是卡死。
方法二：离线部署（适合内网或限速环境）
① 在联网机器上用git clone https://huggingface.co/deepseek-ai/DeepSeek-V2下载完整仓库
② 进入目录，执行find . -name "*.bin" | xargs -I{} sha256sum {} > checksums.txt，将checksums.txt与模型文件一并拷贝至目标机器
③ 在目标机器执行vllm serve /path/to/DeepSeek-V2 --gpu-memory-utilization 0.95。【必须加--gpu-memory-utilization 0.95】否则vLLM默认按0.9分配，而DeepSeek-V2的MoE层在满载时会突发申请额外3%显存，导致OOM崩溃。
方法三：FP8量化版加速（仅限H100/H200）
从DeepSeek官方镜像站下载DeepSeek-V2-FP8.safetensors，用vllm convert转为vLLM原生格式：vllm convert --input-path ./DeepSeek-V2-FP8.safetensors --output-path ./ds-v2-fp8-vllm --dtype fp8。转换后启动命令末尾追加--quantization fp8即可启用硬件级FP8加速。
启动API服务并测试推理
启动服务：vllm serve deepseek-ai/DeepSeek-V2 --host 0.0.0.0 --port 8000 --max-num-seqs 256 --max-model-len 16384。其中--max-model-len 16384是关键参数——DeepSeek-V2原生支持32k上下文，但vLLM默认只开8k，不显式指定会导致长文本截断且无警告。
新开终端，用curl发送测试请求：curl -X POST "http://localhost:8000/v1/completions" -H "Content-Type: application/json" -d '{"model":"deepseek-ai/DeepSeek-V2","prompt":"请用中文解释量子纠缠","max_tokens":128}'。响应体中出现"text": "量子纠缠是..."即表示服务就绪。
若返回503 Service Unavailable，检查vllm serve进程日志里是否含PagedAttention is not available字样——这说明CUDA版本与vLLM编译版本不匹配，需重装匹配的torch+cudatoolkit组合。
此时打开浏览器访问http://localhost:8000/docs，可直接调用Swagger UI交互式测试所有API端点。
