应先确认NVIDIA驱动支持的CUDA版本,再安装匹配的CUDA工具包并配置PATH;接着用Miniconda创建纯净Python环境,安装对应CUDA版本的PyTorch;关闭Windows Defender等安全软件实时防护;设置OLLAMA_MODELS和HF_HOME环境变量指向非系统盘路径;最后通过代码验证CUDA与PyTorch是否可用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您尝试在Windows系统上本地部署大模型,但安装过程中频繁报错、环境无法启动或GPU不可用,则很可能是由于核心依赖组件版本不匹配、路径配置错误或安全软件拦截所致。以下是解决此类问题的具体操作步骤:
一、安装并验证NVIDIA驱动与CUDA工具包
驱动与CUDA是GPU加速的基础支撑层,版本错配将直接导致PyTorch无法识别显卡或运行时崩溃。必须确保驱动支持所选CUDA版本,且CUDA安装时已正确写入系统PATH。
1、以管理员身份打开命令提示符,执行 nvidia-smi,记录右上角显示的“CUDA Version”(例如“12.2”),该值代表当前驱动最高兼容的CUDA版本。
2、访问NVIDIA官网CUDA Toolkit归档页,下载等于或低于上述版本号的CUDA安装包(如驱动支持12.2,则可选CUDA 12.1或12.0,但不可选12.3)。
3、运行安装程序,选择“自定义安装”,务必勾选“CUDA Developer Tools”和“CUDA Runtime”两项,取消勾选“NVIDIA GeForce Experience”等无关组件。
4、安装完成后,在PowerShell中执行 nvcc --version,确认输出包含有效版本号;再执行 echo $env:PATH,检查输出中是否含C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin路径。
二、配置纯净Python环境(Conda方案)
使用Conda可避免系统Python污染及PATH冲突,尤其适合多模型共存场景。必须禁用默认Python安装路径中的空格与中文字符,否则部分AI库会加载失败。
1、从conda-forge官网下载Miniconda Windows 64-bit安装包,安装时勾选“Add Miniconda3 to my PATH”和“Register Miniconda3 as my default Python”两项。
2、打开Anaconda Prompt,执行 conda create -n llm_env python=3.9 创建专用环境。
3、执行 conda activate llm_env 进入环境后,立即运行 python -c "import sys; print(sys.executable)",确认输出路径不含空格或中文(如显示为 C:\Users\name\miniconda3\envs\llm_env\python.exe 则合规)。
4、在激活状态下,使用 conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia 安装与CUDA匹配的PyTorch(请将11.8替换为实际安装的CUDA主版本号)。
三、关闭杀毒软件与系统防护组件
OpenClaw、Ollama、RVC等本地AI工具需调用底层系统API、模拟键鼠、读写任意目录,极易被Windows Defender、360、火绒等实时防护引擎误判为恶意行为并静默拦截或删除关键DLL/EXE文件。
1、按下 Win+I 打开设置,进入“隐私和安全性”→“Windows 安全中心”→“病毒和威胁防护”→“管理设置”,将“实时保护”和“云提供的保护”均设为“关闭”。
监控 OpenClaw GitHub 版本更新,获取最新版本发布说明,翻译成中文, 并推送到 Telegram 和 Feishu。用于:(1) 定时检查版本更新 (2) 推送版本更新通知 (3) 生成中文版发布说明
2、在相同界面点击“勒索软件防护”→“受控文件夹访问”,将其设为“关闭”。
3、若已安装第三方杀毒软件,右键其任务栏图标,选择“退出”或“暂停保护”,确保其进程(如360tray.exe、QQPCTray.exe、huorong.exe)在任务管理器“后台进程”中完全消失。
4、完成所有部署操作并验证功能正常后,再重新启用上述防护功能。
四、设置模型存储路径与环境变量
Ollama、LM Studio等工具默认将数十GB模型写入C盘用户目录,极易触发磁盘空间告警甚至系统卡顿。通过预设环境变量可强制所有模型落盘至指定SSD分区,提升IO性能并规避权限问题。
1、在D盘创建目录:D:\AI_Models\Ollama 和 D:\AI_Models\HuggingFace。
2、以管理员身份运行PowerShell,依次执行:
[Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "D:\AI_Models\Ollama", "Machine")
[Environment]::SetEnvironmentVariable("HF_HOME", "D:\AI_Models\HuggingFace", "Machine")
3、重启所有终端窗口,执行 ollama list,确认新拉取的模型将保存至D盘路径而非C盘。
五、验证CUDA与PyTorch可用性
仅安装不等于可用,必须通过代码级验证确认GPU张量运算通道已打通。若验证失败,说明前述任一环节存在隐性错误,需逐项回溯。
1、在已激活的Conda环境中,执行 python -c "import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.device_count()); print(torch.cuda.get_device_name(0))"。
2、若输出中 torch.cuda.is_available() 为 False,检查是否遗漏CUDA安装步骤或环境变量未生效;若返回 True 但设备名为空,说明显卡驱动未正确加载,需重装驱动。
3、进一步执行 python -c "a = torch.tensor([1., 2.]).cuda(); print(a + a)",确认张量能成功迁移至GPU并完成基础运算。

















