Llama3-8B-Instruct经GPTQ-INT4量化后仅占4GB显存，可在RTX3060（12GB）上稳定运行，支持8K上下文、MMLU 68.2、HumanEval 45.6，英语能力接近GPT-3.5，开源可商用（月活＜7亿）。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
一、验证ESXi主机PCIe直通支持状态
ESXi必须在BIOS中启用Intel VT-d或AMD-Vi，且内核参数需显式开启IOMMU支持，否则直通设备无法被识别为可分配资源。未启用时，即使GPU物理存在，vSphere客户端中也不会显示“Passthrough”选项。
1、通过SSH登录ESXi主机，执行命令检查IOMMU是否激活：
esxcli system settings kernel list | grep iommu
2、确认输出中iommu_enabled值为true；若为false，则需编辑/bootbank/boot.cfg，在kernelopts行末尾添加iommu=pt intel_iommu=on（Intel平台）或iommu=pt amd_iommu=on（AMD平台）
3、重启主机使配置生效，并再次运行esxcli命令验证
4、执行lspci -v | grep -A 10 "VGA\|3D"，确认GPU设备ID前缀（如10de:2204）及IOMMU组归属
关键提示：若lspci无GPU输出，说明硬件未被ESXi基础内核识别，需先解决驱动兼容性问题，而非直通配置
二、修正虚拟机硬件版本与直通兼容性设置
旧版虚拟机硬件（如vmx-13）不支持PCIe设备热插拔和64位MMIO空间映射，会导致DevicePowerOn错误。Llama 3推理对GPU内存带宽敏感，必须使用支持PCIe 4.0直通的硬件版本。
1、关闭目标虚拟机，在vSphere客户端中右键选择“升级虚拟机硬件版本”至vmx-20或更高
2、编辑虚拟机设置，进入“虚拟硬件”→“PCI设备”→点击“添加新设备”→选择“PCI Device”
3、在设备列表中勾选对应GPU的完整PCI地址（格式如0000:0a:00.0），确保其状态栏显示“Available for passthrough”
4、勾选“此设备已连接”和“启动时连接”，并取消勾选“禁用此设备的电源管理”
关键提示：若设备列表为空或显示“Not supported”，说明该GPU尚未被ESXi标记为直通就绪，需先执行esxcli hardware pci pcipassthru set -d [device_id] -e true
三、调整VMkernel MMIO空间分配策略
ESXi默认为PCIe设备预留的64位MMIO空间上限为256MB，而Llama 3-8B-GPTQ在vLLM加载时需至少1.2GB连续MMIO区域供显存映射。空间不足将直接触发DevicePowerOn失败。
1、执行命令查看当前MMIO分配上限：
esxcli system settings kernel list | grep maxvmmem
2、修改高级参数扩大MMIO窗口：
esxcli system settings kernel set -s pciPassthru64bitMMIOSizeMB -v 2048
3、为避免重启后失效，将该参数持久化写入/etc/vmware/esx.conf：
echo "/kernel/modules/pciPassthru64bitMMIOSizeMB = \"2048\"" >> /etc/vmware/esx.conf
4、重启hostd服务以应用变更：
services.sh restart hostd
关键提示：maxvmmem值必须为2的幂次（如1024、2048、4096），且不可超过主机物理内存的10%
四、禁用GPU固件级节能特性
NVIDIA消费级GPU（如RTX 3060/4090）在直通模式下会保留UEFI GOP固件，其动态电源管理（如PCIe ASPM L1 Substates）与ESXi VMkernel调度存在竞争，导致设备初始化超时。
1、获取GPU设备PCI地址：
lspci -nn | grep VGA
2、禁用ASPM：
esxcli hardware pci pcipassthru set -d [device_id] -e false
3、强制绑定vfio-pci驱动（绕过nvidia驱动抢占）：
esxcli hardware pci pcipassthru set -d [device_id] -e true
4、在虚拟机配置文件（.vmx）中追加两行：
pciPassthru.use64bitMMIO = "TRUE"
pciPassthru.64bitMMIOSizeGB = "2"
关键提示：执行esxcli命令前必须确保GPU未被任何虚拟机占用，否则返回Operation not permitted
五、校验Guest OS内NVIDIA驱动与vLLM运行时兼容性
直通成功仅表示设备可见，Guest OS中仍需正确加载驱动并满足CUDA工具链版本约束。Llama 3-8B-Instruct要求CUDA 12.1+，而多数Linux发行版默认驱动仅支持CUDA 11.x。
1、在虚拟机内执行nvidia-smi，确认GPU型号与温度正常显示
2、检查驱动版本是否≥535.129.03：
nvidia-smi --query-gpu=driver_version --format=csv,noheader,nounits
3、验证CUDA可见性：
python3 -c "import torch; print(torch.cuda.is_available(), torch.version.cuda)"
4、若CUDA版本低于12.1，需手动安装匹配驱动：下载NVIDIA-Linux-x86_64-535.129.03.run，执行sudo ./NVIDIA-Linux-x86_64-535.129.03.run --no-opengl-files --no-x-check
关键提示：--no-opengl-files参数防止覆盖Xorg模块，避免虚拟机图形界面崩溃；--no-x-check跳过X server检测，适配无GUI的推理环境
