CUDA显存不足导致Llama 3加载失败时，应依次采取五项措施：一、降低batch_size和max_seq_len；二、启用4-bit量化加载；三、调用gc.collect()和torch.cuda.empty_cache()释放碎片显存；四、用nvidia-smi识别空闲GPU并设CUDA_VISIBLE_DEVICES绑定；五、显存极低时启用device_map="auto"配合offload_folder卸载部分层至CPU。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您尝试启动Llama 3模型，但终端报出“CUDA out of memory”错误并导致加载失败，则说明GPU显存实际可用容量不足以满足当前配置下的模型加载与推理需求。以下是解决此问题的步骤：

一、降低批量大小与上下文长度

批量大小（batch_size）和最大序列长度（max_seq_len）直接影响显存峰值占用，二者均呈线性或近似平方级增长关系，是无需修改环境即可快速生效的调控参数。

1、打开模型推理脚本（如example_chat_completion.py或vllm-server启动命令）

2、将batch_size参数从默认值（如8或16）逐步下调至2或1

3、同步修改generation.py或vLLM启动参数中的--max-model-len，将其设为2048或1024

4、保存更改后重新运行启动命令

二、启用4-bit量化加载

使用bitsandbytes库的4-bit量化可将模型权重从FP16（2字节/参数）压缩至约0.5字节/参数，使Llama-3-8B模型显存占用从约16GB降至不足5GB，显著适配消费级显卡。

1、确认已安装支持4-bit的transformers与accelerate：pip install --upgrade transformers accelerate bitsandbytes

2、在加载模型时添加load_in_4bit=True参数，例如：
model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct", load_in_4bit=True)

3、若使用vLLM，改用支持AWQ或GPTQ的量化版本，并指定--quantization awq或--quantization gptq

三、释放PyTorch预留显存碎片

PyTorch会持续保留已分配但未被Python变量引用的显存块，造成“nvidia-smi显示有空闲但无法分配”的典型矛盾现象；调用清缓存接口可强制归还这部分内存。

1、在模型加载前插入显存清理指令：
import torch, gc
gc.collect()
torch.cuda.empty_cache()

2、若使用Jupyter或长期服务进程，在每次会话初始化或请求处理前后重复执行上述两行

3、验证清理效果：执行torch.cuda.memory_summary()，确认reserved_by_pytorch值明显下降

四、关闭非必要GPU进程并绑定专用设备

系统中其他进程（如桌面环境、浏览器GPU加速、后台AI服务）可能隐式占用显存，导致Llama 3启动时无足够连续空间；显式指定空闲GPU设备可规避冲突。

1、运行nvidia-smi查看各GPU显存占用，识别空闲设备编号（如GPU 2）

2、在代码中设置CUDA_VISIBLE_DEVICES=2，或启动时添加环境变量：
CUDA_VISIBLE_DEVICES=2 python example_chat_completion.py

3、Linux下若发现残留进程，执行kill -9 [PID]；Windows下使用taskkill /PID [PID] /F强制终止

五、切换至CPU卸载+部分GPU加载模式

当GPU显存严重不足（如仅6GB或更低）时，可采用device_map="auto"配合offload_folder机制，将部分层自动卸载至CPU内存，仅关键层保留在GPU，实现“勉强可用”的加载。

1、确保transformers ≥ 4.35且accelerate已安装

2、加载模型时传入参数：
model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct", device_map="auto", offload_folder="./offload")

3、首次运行会自动生成offload文件夹，后续启动需保持该路径存在且可写