cuDNN后端行为不一致是主因：不同显卡触发cuDNN不同算法路径（如im2col/GEMM或tensor core加速的winograd），导致浮点累加顺序、舍入策略及中间精度差异，引发1e-5～1e-3量级输出偏差，数十轮后梯度累积偏移致loss分叉、acc波动。
cuDNN 后端行为不一致是主因
PyTorch 的 nn.Conv2d 等算子在 GPU 上默认调用 cuDNN 库实现，而不同显卡（如 GTX 1070 vs RTX 4090）可能触发 cuDNN 内部不同的算法路径：比如对同一 kernel_size=3, stride=1, padding=1 的卷积，老卡可能走 im2col + GEMM，新卡可能启用 tensor core 加速的 winograd 变体。这些路径浮点累加顺序、舍入策略、甚至中间数据精度（fp16/fp32 混合）都不同，导致单次前向输出存在 1e-5～1e-3 量级偏差。
这种差异本身合法——cuDNN 不保证跨设备数值一致性，只保证功能正确性。你看到 loss 曲线分叉、acc 波动，往往是几十轮后梯度方向累积偏移所致。
- 验证方法：
torch.backends.cudnn.enabled = False后重跑，若结果一致，基本可锁定 cuDNN - 若必须启用 cuDNN，需同时设
torch.backends.cudnn.deterministic = True和torch.backends.cudnn.benchmark = False；但注意部分算子（如含 indices 的 pooling）会直接报错 - RTX 40 系列等新卡默认启用
torch.backends.cuda.enable_mem_efficient_sdp，也可能干扰 conv 行为，可临时禁用测试
FP16 自动混合精度（AMP）启用状态不统一
不同显卡对 AMP 的硬件支持程度不同：Pascal 架构（GTX 10xx）无原生 fp16 tensor core，而 Ampere（RTX 30/40）有。即使代码中写了 torch.cuda.amp.autocast()，底层是否真进 fp16 路径、哪些层被降精度、grad scaler 如何更新，都依赖显卡能力与驱动版本。
典型现象：同一段训练脚本，在 RTX 4090 上 conv.weight.dtype 是 torch.float32，但计算时内部用 fp16 accumulator；而在 GTX 1070 上 fallback 到全 fp32，导致梯度 scale 值、溢出处理逻辑完全不同。
立即学习“Python免费学习笔记（深入）”；
- 检查方式：打印
torch.cuda.get_arch_list()，确认架构代号（如 'sm_86' 对应 A100，'sm_75' 对应 RTX 2080），再比对torch.cuda.is_bf16_supported()和torch.cuda.is_fp16_supported() - 强制统一：不用
autocast，手动指定所有权重和输入为torch.float32，或统一用torch.set_default_dtype(torch.float64)（仅限调试，性能极差） - 注意
GradScaler的init_scale和growth_interval在不同卡上可能因硬件限制造成不同步缩放
随机种子未覆盖 CUDA 算子级伪随机源
torch.manual_seed(42) 和 torch.cuda.manual_seed_all(42) 只能控制 PyTorch 层面的 RNG（如 torch.randn、Dropout），但 cuDNN 卷积中的某些优化路径（如非确定性卷积算法）会使用独立的 CUDA RNG 状态，这部分不受 Python 层种子控制。
尤其当模型含 nn.Dropout2d 或 nn.Conv2d 后接 nn.BatchNorm2d 时，BN 的 running_mean/var 更新顺序、dropout mask 生成时机，在不同 GPU 上可能因 kernel launch 时间差而错位，引发连锁偏差。
- 必须补全：
torch.use_deterministic_algorithms(True, warn_only=False)（PyTorch ≥ 1.8），它会禁用所有已知非确定性算子，包括 cuDNN 中的部分卷积变体 - 但该设置会让部分操作（如
F.max_pool2dwithreturn_indices=True）直接抛RuntimeError，需提前排查模型中是否含此类算子 - Linux 下还需确认
CUDA_LAUNCH_BLOCKING=1是否开启——它虽不影响数值，但能暴露隐式非确定性错误（如 race condition）
驱动、CUDA、cuDNN 版本组合引发兼容性断裂
显卡型号只是表象，真正起作用的是驱动 + CUDA runtime + cuDNN library 三者的 ABI 兼容性。例如：GTX 1070 驱动 470.xx + CUDA 11.3 + cuDNN 8.2.1 是稳定组合；但同驱动下换 CUDA 12.1 + cuDNN 8.9.7，可能触发 cuDNN 内部未修复的数值 bug（如某些 dilation > 1 的卷积结果符号翻转）。
更隐蔽的是：PyTorch 二进制包自带 cuDNN，但 conda 安装的 pytorch-cuda 包可能链接系统 cuDNN，两者版本不一致时，Conv2d 实际调用的库函数签名都可能不同。
- 自查命令：
python -c "import torch; print(torch.__config__.show())"，重点看cuDNN version和built with CUDA行 - 生产环境务必用
conda install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia这类官方渠道安装，避免混用 pip wheel 与系统 cuDNN - RTX 4090D 等新卡需驱动 ≥ 535，旧驱动（如 515）下 cuDNN 可能完全禁用 tensor core，导致性能暴跌且路径切换异常
output = conv(x) 走进完全不同的汇编指令流——这才是最常被忽略的底层事实。 
