成功部署DeepSeek模型需五步：一、用npu-smi info确认NPU设备识别；二、拉取匹配硬件的MindIE镜像（如v0.9.1-dev-openeuler）；三、下载并校验W8A8量化权重；四、正确启动容器，绑定设备、挂载模型、设置shm-size与环境变量；五、通过OpenAI兼容API发起curl请求验证推理功能。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您已具备华为昇腾NPU硬件环境，但尚未成功将DeepSeek模型部署为可用推理服务，则很可能是由于镜像选择、权重适配或启动参数配置不一致所致。以下是基于昇腾300I、910B及800I A2等主流设备的实操部署流程：
一、确认硬件与驱动状态
在任何部署操作前，必须验证NPU设备是否被系统正确识别并加载驱动。这是后续所有步骤生效的前提，缺失该环节将导致容器内无法访问设备节点。
1、执行命令检查NPU设备是否存在：npu-smi info
2、确认输出中包含正常设备列表，每张卡显示Health: OK且Power与Temp值处于合理范围
3、若命令未找到，尝试使用全路径：/usr/local/Ascend/driver/tools/npu-smi info
4、检查驱动模块是否加载：lsmod | grep drv_pcie_host，有输出即表示驱动已就绪
二、拉取并验证MindIE官方Docker镜像
MindIE镜像已预装CANN驱动、torch_npu、vLLM-Ascend及推理服务框架，避免手动编译引发的版本冲突。必须使用与硬件型号严格匹配的镜像标签，否则会出现设备不可用或算子注册失败。
1、前往昇腾社区申请权限后，从Quay.io拉取指定镜像：docker pull quay.io/repository/ascend/vllm-ascend:v0.9.1-dev-openeuler
2、校验镜像完整性：docker images | grep vllm-ascend，确认Tag与大小符合文档标注（约15GB）
3、运行基础容器测试设备映射：docker run --rm --device /dev/davinci0 -it quay.io/repository/ascend/vllm-ascend:v0.9.1-dev-openeuler npu-smi info
4、若容器内能正常显示NPU信息，则设备透传成功；否则需检查宿主机udev规则或Docker守护进程配置
三、下载并校验DeepSeek模型权重
权重文件必须与所选量化方案和镜像版本兼容。W8A8量化权重是当前昇腾平台实测最稳定的选择，可大幅降低显存占用并保持98%以上原始精度，适用于单卡32B至双机671B部署场景。
1、从ModelScope下载W8A8权重包：https://www.modelscope.cn/models/vllm-ascend/DeepSeek-R1-0528-W8A8
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
2、使用aria2c多线程加速下载：aria2c -x16 -s16 "URL"
3、下载完成后立即校验MD5：md5sum DeepSeek-R1-0528-W8A8.tar.gz，比对官网公示值
4、解压至宿主机目录（如/data/models/deepseek-r1-w8a8），确保目录结构含config.json、pytorch_model.bin.index.json及分片权重文件
四、启动MindIE服务容器
容器启动时需精确绑定NPU设备、共享模型路径、设置shm大小，并传递正确的推理引擎参数。参数错误将直接导致服务启动失败或请求超时。
1、创建模型挂载目录并赋权：mkdir -p /data/models && chown -R 1001:1001 /data/models
2、执行完整启动命令（以单卡32B为例）：docker run --name deepseek-service -d --net=host --shm-size=500g --device /dev/davinci0 --device /dev/davinci_manager -v /data/models:/models -e MODEL_PATH=/models/deepseek-r1-w8a8 -e DEVICE=ascend -e DTYPE=bf16 quay.io/repository/ascend/vllm-ascend:v0.9.1-dev-openeuler
3、查看容器日志确认加载进度：docker logs -f deepseek-service | grep "model loaded"
4、等待出现INFO: Uvicorn running on http://0.0.0.0:8000表示服务已就绪
五、验证HTTP API调用能力
服务启动成功后，必须通过标准OpenAI兼容接口发起实际推理请求，以验证模型加载、KV缓存管理及响应生成全流程是否正常。仅检查端口监听不足以说明服务可用。
1、构造curl请求体并保存为payload.json：{"model": "deepseek", "messages": [{"role": "user", "content": "你好，请用中文简要介绍你自己"}], "max_tokens": 256}
2、发送POST请求：curl -X POST "http://localhost:8000/v1/chat/completions" -H "Content-Type: application/json" -d @payload.json
3、检查返回JSON中choices[0].message.content字段是否为非空中文文本
4、若返回"error": "CUDA out of memory"类提示，说明显存不足，需切换至W4A16量化权重或增加NPU卡数量
