梯度消失或爆炸是反向传播的数值本质问题：梯度爆炸表现为loss突变为nan/inf，主因是权重初值过大、学习率过高或RNN长序列展开导致雅可比谱半径>1；梯度消失则表现为loss停滞、浅层梯度趋近于0，源于连乘项持续小于1。
梯度消失或爆炸不是PyTorch的bug，而是反向传播在深层网络中数值计算的自然结果——只要链式法则连乘项持续小于1或大于1，多层叠加后必然指数级衰减或溢出。
梯度爆炸：loss突然变nan或inf的直接原因
典型表现是训练几轮后loss跳变为nan或极大值（如1e8），model.parameters()里某些权重变成inf。根本原因是反向传播中雅可比矩阵乘积的谱半径 > 1：
-
weight初始值过大（比如用torch.randn但没缩放），导致每层W.T @ grad不断放大 - 激活函数虽为
ReLU，但输入长期为正，导数恒为1，权重范数又大，形成“无阻尼放大链” - RNN/LSTM在长序列上展开后等效超深网络，
W_hh连乘极易失控 - 学习率设得太高（如
lr=0.1），一次optimizer.step()就把参数推到数值极限
梯度消失：loss卡住不动、浅层grad.norm()趋近于0
现象是训练很久，loss几乎不降，accuracy不上升，检查发现前几层的param.grad.norm()稳定在1e-8以下。关键诱因是梯度连乘项持续
- 用了
Sigmoid或Tanh：它们的导数最大仅0.25和1.0，10层连乘后梯度可能只剩原始值的1e-6 - 权重初始化过小（如全用
nn.init.uniform_(w, -0.01, 0.01)），每层输出方差塌缩，激活值挤在饱和区 - 没有
BatchNorm：各层输入分布漂移，深层更容易落入激活函数平坦区 - 网络太深且无残差连接：信号从输出回传时无“捷径”，必须硬穿所有非线性层
clip_grad_norm_为什么能治爆炸，却对消失无效？
它只做一件事：在optimizer.step()前把所有参数梯度按比例压缩，确保torch.norm(grads, 2) ≤ max_norm。这相当于给梯度流加了个“泄洪闸”：
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
立即学习“Python免费学习笔记（深入）”；
- 对爆炸有效：梯度值大但方向基本正确，裁剪后仍能更新，只是步子小点
- 对消失无效：梯度本身已接近
0，裁剪阈值再低也压不到更小，反而可能掩盖真实问题 - 注意位置：必须放在
loss.backward()之后、optimizer.step()之前，否则白跑 - 阈值选
1.0较稳妥；若频繁触发，说明模型/数据本身不稳定，不能只靠裁剪硬扛
最容易被忽略的实操盲点
很多人查半天nan，最后发现是数据里混进了inf或nan样本——loss还没算就崩了。PyTorch不会自动过滤，你得自己加：
- 在
dataloader里用torch.isfinite(x).all()筛掉坏样本 -
loss计算前加assert not torch.isnan(loss)，快速定位哪步出事 - 初始化别偷懒：用
nn.init.kaiming_normal_(m.weight, nonlinearity='relu')而非默认随机 -
BatchNorm要放在Conv2d之后、ReLU之前，顺序错会导致归一化失效
