显卡需匹配模型参数量、量化精度和使用场景：7B模型最低需24GB显存（如RTX 3090），13B需≥48GB（A100 80GB或双4090），33B+仅支持A100/H100集群；GPTQ 4-bit可将13B显存压至10.2GB，AWQ 4-bit要求CUDA 12.1+且仅兼容Ampere及以上架构；显存带宽优先于容量，HBM2e/A100与GDDR6X/4090带宽差异影响实际吞吐，PCIe通道数与Tensor Core代际（FP8支持）同样关键，Volta及AMD显卡不兼容新版DeepSeek。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
想在本地稳定运行DeepSeek模型，显卡不是越大越好，而是要匹配模型参数量、量化精度和实际使用场景——选错显卡轻则推理卡顿、OOM报错，重则根本加载不了模型权重。
先看模型规模与显存底线
DeepSeek当前主流版本按参数量分三档，每档有不可妥协的显存下限：
7B模型：RTX 3090（24GB）或A100（40GB）是安全线，【低于24GB显存的卡（如RTX 4080 16GB）在FP16下大概率无法加载】；
13B模型：必须≥48GB显存，单卡A100 80GB或双卡RTX 4090（需NVLink互联）；
33B及以上模型：仅支持A100/H100 80GB集群，消费级显卡无解。
量化能省多少显存？别信“4GB跑13B”的宣传
方法一：GPTQ 4-bit量化
实测DeepSeek-V2 13B模型经GPTQ压缩后，显存占用从26GB降至约10.2GB，可在单张RTX 4090（24GB）上流畅推理；
方法二：AWQ 4-bit量化
精度损失比GPTQ略小，但对硬件要求更高——【仅支持CUDA 12.1+且驱动≥535.154.02的Ampere及更新架构】，RTX 30系不兼容；
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
方法三：bitsandbytes 4-bit加载
PyTorch原生支持，命令简单：load_in_4bit=True，但首次加载慢30%，且会额外占用1.5GB系统内存做缓存。
关键指标排序：显存带宽＞显存容量＞FP16算力
第一步：查显存带宽——HBM2e（如A100）带宽820GB/s，GDDR6X（如RTX 4090）带宽1008GB/s，但后者实际推理吞吐反不如前者，因DeepSeek大量密集矩阵乘依赖高带宽而非峰值算力；
第二步：核对PCIe通道数——A100用PCIe 4.0 x16，RTX 4090用PCIe 4.0 x16，但若插在老主板PCIe 3.0插槽，带宽腰斩，模型加载时间翻倍；
第三步：确认Tensor Core代际——Ampere（A100/4090）支持FP8，Volta（V100）不支持，而DeepSeek-V4 Flash-0731已启用FP8激活稀疏计算，【Volta显卡无法运行该版本】。
避坑指南：这些卡看着像、实际不能用
RTX 4060 Ti 16GB：显存够但PCIe 4.0 x8带宽不足，加载模型时频繁卡在“loading weights”；
A10（24GB）：显存类型为GDDR6，非HBM2，带宽仅600GB/s，跑13B模型延迟飙升至8秒/Token；
AMD RX 7900 XTX：ROCm生态对Transformers库支持不全，官方未适配，强行编译会触发segmentation fault。
