GPU和CPU输出不完全相等是浮点计算路径差异导致的正常现象，根本原因在于硬件层面运算实现不同：GPU为吞吐优化采用FMA、非确定性累加及cuDNN卷积算法，CPU则遵循IEEE 754严格顺序，即使输入、权重、代码完全一致，torch.matmul等操作中间结果也会产生微小偏差并累积。
不是bug，是浮点计算路径差异导致的正常现象；但能控制到atol=1e-8量级，足够满足绝大多数验证和部署需求。
为什么GPU和CPU输出不完全相等？
根本原因在于硬件层面的浮点运算实现不同：GPU（尤其NVIDIA）为吞吐优化，会采用融合乘加（FMA）、不同顺序的累加、以及cuDNN内部非确定性卷积算法；CPU则更倾向IEEE 754标准下的逐元素严格顺序。哪怕权重、输入、代码完全一致，torch.matmul、torch.exp、torch.nn.functional.softmax等操作在两种设备上产生的中间结果就有微小偏差，最终累积成输出差异。
如何让CPU/GPU结果尽可能一致？
关键不是“消除差异”，而是“约束差异范围”。以下设置组合可将差异压到torch.allclose(a, b, atol=1e-8)通过：
- 统一使用双精度：
torch.set_default_dtype(torch.float64)（放在所有导入之后、模型定义之前） - 禁用cuDNN非确定性加速：
torch.backends.cudnn.enabled = False（或设deterministic=True+benchmark=False） - 确保张量创建源头一致：所有
torch.randn、torch.zeros等都在CPU上生成，再.to(device)——避免torch.cuda.FloatTensor直接在GPU上采样 - 不要依赖
model.eval()来“修复”设备差异——它只影响Dropout/BatchNorm行为，对底层浮点误差无效
哪些场景下差异会放大？
差异本身很小（通常1e-12 ~ 1e-8），但在以下情况会被显著放大：
立即学习“Python免费学习笔记（深入）”；
- 模型含大量
torch.cumsum或长序列torch.softmax——误差随长度线性/指数累积 - 使用
torch.float32且网络深度 > 50 层（如ViT-L/LLaMA-3）——单层误差经多层传播后不可忽略 - 对比方式错误：仅用
print(out)或np.array_equal——浮点打印截断掩盖真实差异，必须用torch.allclose(a, b, atol=1e-8) - 混用设备：部分张量在CPU、部分在GPU，触发隐式拷贝+重计算——报错
Expected all tensors to be on the same device!是明确信号
真正需要警惕的不是1e-8级差异，而是当torch.allclose(a, b, atol=1e-5)都失败时——那大概率是漏设了cudnn.enabled=False，或某处悄悄用了torch.cuda.manual_seed而没同步CPU种子。
