AMD显卡需满足ROCm 5.7+兼容要求,启用BIOS中Above 4G Decoding与Resizable BAR;安装对应驱动及ROCm环境后,可通过LM Studio、Ollama-ROCm或Transformers手动部署DeepSeek系列模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

一、验证硬件与驱动兼容性
AMD显卡需满足ROCm 5.7+运行要求,且主板BIOS中必须启用Above 4G Decoding与Resizable BAR。9070XT等RDNA 3/4架构显卡需安装Adrenalin 25.1.1或更高版本驱动,并确认系统已加载kfd与amdgpu内核模块。
1、在终端执行 rocm-smi --showproductname,确认输出包含“Radeon RX 9070XT”或对应型号。
2、运行 dmesg | grep -i "kfd\|amdgpu",检查无“failed to initialize”类错误提示。
3、执行 rocminfo | grep "Compute Unit",确保显示有效计算单元数量(9070XT应为≥80)。
二、安装ROCm与PyTorch-ROCm环境
ROCm是AMD GPU加速的核心运行时,必须使用与显卡架构匹配的版本;PyTorch-ROCm需严格对应ROCm主版本号,否则将导致device_map="auto"失效或CUDA_ERROR_INVALID_DEVICE异常。
1、Ubuntu 22.04下执行:sudo apt install rocm-hip-runtime-amd rocm-opencl-runtime。
2、添加ROCm PyTorch源并安装:pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.7。
3、验证安装:运行Python并执行 import torch; print(torch.cuda.is_available(), torch.version.hip),输出应为True及"5.7"。
三、通过LM Studio一键部署DeepSeek模型
LM Studio for Ryzen AI提供图形化界面与预集成ROCm后端,无需手动编译或配置device_map,适用于快速验证模型可用性与基础推理功能。
1、访问 https://lmstudio.ai/ryzenai 下载最新版LM Studio for Ryzen AI安装包。
2、安装完成后启动,在设置中开启 “Use LM Studio's Hugging Face” 并切换语言为中文(可选)。
3、点击左侧搜索图标,输入 “DeepSeek-R1”,选择参数规模匹配的模型(如7B或13B),点击下载。
统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
4、模型下载完毕后,在主界面顶部下拉框中选择该模型,将 “GPU Offload”滑块调至最大值,点击加载即可启动本地推理服务。
四、使用Ollama-ROCm部署DeepSeek-R1
Ollama-ROCm版本专为AMD显卡优化,内置ROCm-aware模型加载器与量化调度器,支持GGUF格式模型直接运行,避免Hugging Face格式转换开销。
1、下载ROCm版Ollama:curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama.tgz。
2、解压并安装:sudo tar -C /usr -xzf ollama.tgz,随后执行 sudo usermod -a -G video $USER。
3、启动服务:sudo systemctl enable ollama && sudo systemctl start ollama。
4、拉取并运行模型:ollama pull deepseek-r1:14b && ollama run deepseek-r1:14b。
五、基于Transformers + ROCm手动部署DeepSeek-V2.5
该方法提供最高控制粒度,支持自定义精度(BF16/FP16)、KV缓存策略与RoPE插值,适用于需要微调或集成至自有推理管道的场景。
1、安装适配ROCm的依赖:pip install transformers==4.35.0 optimum==1.15.0 accelerate。
2、加载模型时强制指定ROCm设备映射:model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-V2.5", device_map="auto", torch_dtype=torch.bfloat16)。
3、启用ROCm专属优化:model = model.half().to("cuda"),并确保tokenizer.pad_token_id设为model.config.eos_token_id。
4、执行推理前调用 torch.hip.synchronize() 确保HIP流完成,避免输出截断或乱码。


















