BatchNorm 层必须加在 nn.Linear 或 nn.Conv2d 之后、激活函数（如 nn.ReLU）之前；顺序错误会因激活扭曲分布而使归一化失效，正确顺序为 Linear → BatchNorm → ReLU。
BatchNorm 层该加在激活函数前还是后？
必须加在 nn.Linear 或 nn.Conv2d 之后、激活函数（如 nn.ReLU）之前。顺序错误会导致归一化作用失效——因为 BN 的目标是稳定「线性变换后的输出分布」，而激活函数（尤其是 Sigmoid、Tanh）会扭曲分布形态，再归一化已无意义。
常见错误写法：Linear → ReLU → BatchNorm；正确写法：Linear → BatchNorm → ReLU。
- PyTorch 中
nn.BatchNorm2d和nn.BatchNorm1d的输入通道数必须与前一层输出通道数严格一致，否则运行时报RuntimeError: expected input with 2D or 3D layout - BN 层在训练模式（
model.train()）下用当前 batch 的均值和方差做归一化；推理时（model.eval()）则用训练中滑动平均统计量，这点不能手动覆盖
小 batch_size 下 BatchNorm 失效怎么办？
当 batch_size ≤ 8 时，单个 batch 的均值和方差估计严重失真，BN 反而引入噪声。此时应切换为 nn.LayerNorm 或 RMSNorm。
LayerNorm 对每个样本独立归一化（按特征维度），不依赖 batch 统计，适合 RNN、Transformer 或小 batch 场景；RMSNorm 进一步省略均值计算，只除以均方根，开销更低且对初始化更鲁棒。
立即学习“Python免费学习笔记（深入）”；
- 替换示例：把
nn.BatchNorm1d(512)换成nn.LayerNorm(512)，无需改其他代码逻辑 - 注意：
LayerNorm的输入 shape 必须是(N, D)或(N, S, D)，若原始输出是(N, C, H, W)（如 CNN 特征图），需先view(N, C, -1)再归一化，或改用GroupNorm
训练损失震荡剧烈，是不是 ICS 导致的？
不是所有震荡都源于内部协变量偏移（ICS）。先确认是否满足 ICS 典型表现：损失曲线呈高频锯齿状、梯度 norm 在层间差异极大（可用 torch.nn.utils.clip_grad_norm_ 打印各层 grad max/min）、且调小学习率后收敛变慢但震荡未减弱——才值得怀疑 ICS。
更常见的震荡原因其实是学习率过高、标签噪声大、或数据增强强度失控（比如随机裁剪比例过大导致 batch 内语义不一致）。ICS 的核心标志是「后层输入的均值/方差随 epoch 显著漂移」，可通过 hook 提取某层输入 tensor 的 .mean().item() 和 .std().item() 验证。
- 不要一看到 loss 不平滑就加 BN——若网络本身只有 2~3 层，ICS 影响微乎其微，强行加 BN 可能降低表达能力
- BN 层参数
momentum默认 0.1，对快速变化的数据流（如在线学习）建议调高到 0.99；eps默认 1e-5，若训练中出现Nan，可尝试增大到 1e-3
BN 层在推理阶段输出不稳定？
典型现象是模型部署后预测结果抖动，大概率是因为没调用 model.eval()，导致 BN 仍用当前 mini-batch 统计量而非滑动平均值。即使只跑单张图，也必须确保模型处于 eval 模式。
另一个隐蔽原因是 BN 层的 running_mean / running_var 未正确加载——尤其当 checkpoint 是用 DataParallel 保存的，加载时需用 state_dict = {k.replace("module.", ""): v for k, v in state_dict.items()} 清理 key 前缀，否则 BN 参数根本没载入。
- 验证方法：打印
model.layer.bn.running_mean和model.layer.bn.running_var，训练后它们应是非零常量；若仍是初始值（全 0 或全 1），说明没更新或没加载 - BN 的
track_running_stats=True必须保持开启，设为 False 就退化成普通归一化，失去「稳定推理分布」的作用
