CUDA out of memory错误主因是显存分配路径不当，需先用torch.cuda.memory_summary()精确定位“reserved”或“active”瓶颈；救急方案包括：①bitsandbytes NF4量化（7B模型压至约7GB）；②Tensor Parallelism双卡硬拆；③CPU offload+内存映射兜底。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
DeepSeek本地部署时遇到CUDA out of memory错误，模型根本加载不起来，不是显存容量不够就是没用对压缩手段。RTX 4090跑7B模型报OOM？A100加载13B卡在初始化？问题不在模型本身，而在显存分配路径没走对。
先确认显存真实占用瓶颈
运行nvidia-smi看GPU已用显存，但别只盯Total Memory那一栏——PyTorch常把显存预占到90%以上却没真正使用。【关键动作】在Python中插入torch.cuda.memory_summary()，它会打印出“allocated”“reserved”“active”的精确分布，比nvidia-smi多显示20%的隐藏碎片。
如果发现“reserved”远高于“allocated”，说明框架缓存了大量未释放的中间张量；如果“active”接近显存上限，那才是真缺显存，必须进入量化或并行环节。
单卡快速救急：4位量化一步到位
方法一：Hugging Face + bitsandbytes一行加载（推荐新手）
安装依赖：pip install transformers accelerate bitsandbytes
加载时直接启用NF4量化：
from transformers import AutoModelForCausalLM, BitsAndBytesConfig<br>quant_config = BitsAndBytesConfig(load_in_4bit=True,<br> bnb_4bit_compute_dtype=torch.float16,<br> bnb_4bit_quant_type="nf4")<br>model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-v2", quantization_config=quant_config)
这步操作后，7B模型显存占用从28GB（FP16）压到约7GB，但【注意】首次加载会触发量化参数校准，耗时比普通加载多3倍，别误判为卡死。
方法二：手动替换Linear层（适合调试）
遍历模型所有Linear模块，用bnb.nn.Linear4bit原地替换，好处是能跳过Hugging Face自动device_map逻辑，强制所有层走4bit计算路径——尤其当模型含自定义Attention结构时更稳定。
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
双卡及以上：Tensor Parallelism硬拆模型
第一步：确认NVLink已物理连接
运行nvidia-smi topo -m，若输出中GPU0-GPU1间显示“NV1”而非“SYS”，说明NVLink生效；若显示“SYS”，带宽只有PCIe的1/5，强行并行反而更慢。
第二步：用vLLM或Text Generation Inference启动服务
vLLM对DeepSeek支持开箱即用：vllm-run --model deepseek-ai/deepseek-v2 --tensor-parallel-size 2 --gpu-memory-utilization 0.9
这里--tensor-parallel-size 2表示把Transformer层垂直切分，每卡只存一半权重+对应激活值，显存需求直接砍半。
第三步：验证切分是否生效
启动后检查日志里是否有Using tensor parallel size: 2和Loaded weight shards for layer 0 on GPU 0——如果只看到GPU 0加载全部layer，说明device_map没生效，需删掉device_map="auto"参数手动指定。
实在没卡：CPU卸载+内存映射兜底
当只有单张RTX 4060（8GB）还想跑7B模型时，启用Hugging Face Accelerate的CPU offload：
设置环境变量：export ACCELERATE_USE_CPU_OFFLOAD=true
然后在from_pretrained()中传入device_map="auto"，框架会自动把非活跃层权重swap到RAM，仅把当前推理所需的层保留在GPU。
这招会让首token延迟升到2秒以上，但【不可逆操作】必须关闭Linux swap分区：sudo swapoff -a，否则系统把权重页换到磁盘会导致OOM直接崩溃——内存映射只认RAM，不认虚拟内存。
实测配置：32GB DDR5内存 + RTX 4060，7B模型可维持1.2 token/s吞吐，够做本地RAG原型验证。
