LayerNorm适合序列建模、小batch或变长输入，BatchNorm适合CV任务且batch size≥16；用错会导致loss不降或NaN，如在Transformer中误用BatchNorm会因batch维为1使统计失效、梯度爆炸。
LayerNorm 和 BatchNorm 在 PyTorch 中的适用场景怎么选？
LayerNorm 适合序列建模（如 Transformer）、小 batch 或变长输入；BatchNorm 更依赖 batch 统计，适合 CV 任务、batch size ≥ 16 的稳定训练。用错会直接导致 loss 不降或 NaN：比如在 RNN/Transformer 的 hidden state 上硬套 nn.BatchNorm1d，因单个样本的 batch 维度为 1，running_mean 更新失效，梯度爆炸风险高。
- 序列维度是 time 或 token？优先用
nn.LayerNorm，对每个样本独立归一化 - 输入 shape 是
[N, C, H, W]（图像）？用nn.BatchNorm2d，但确保N > 1（batch size 不为 1） - 使用
torch.compile或混合精度训练时，BatchNorm的running_var可能因 autocast 被转成 float16，需显式设track_running_stats=True并用torch.float32初始化
LayerNorm 怎么加才不破坏 Transformer 的残差结构？
LayerNorm 必须插在残差连接之后、激活函数之前（即 Post-LN），否则初始化时输出方差塌缩，前几层梯度几乎为零。Hugging Face 的 transformers 默认用 Post-LN，但自己实现时容易写成 Pre-LN 后忘了调整初始化。
- 检查 norm 位置：
x = x + self.mlp(self.norm1(x))（错误）→ 正确应为x = x + self.mlp(self.norm1(x))？不对，Post-LN 是x = x + self.mlp(self.norm1(x))→ 实际标准写法是x = x + self.mlp(self.norm1(x))？等等——真正关键点是：norm 必须作用于残差分支的输入，即self.norm1(x)，而非整个x + ... -
nn.LayerNorm的normalized_shape要匹配最后一维或最后两维：Transformer 中常用nn.LayerNorm(hidden_size)，不是nn.LayerNorm((seq_len, hidden_size)) - 如果输入是
[batch, seq, dim]，别用elementwise_affine=False，否则 scale/shift 失效，收敛变慢
BatchNorm 训练和推理不一致导致验证 loss 突升怎么办？
常见原因是训练时用了 model.train()，但验证时忘记调 model.eval()，导致 BatchNorm 仍用 batch 统计而非 running stats，输出剧烈抖动。另一个隐蔽问题是 DataParallel / DDP 下 sync_bn 未启用，各 GPU 自算 stats，running stats 不同步。
- 验证循环开头必须有
model.eval()，且用torch.no_grad()包裹前向 - 多卡训练时，不用
nn.SyncBatchNorm.convert_sync_batchnorm(model)，BatchNorm的running_mean在每卡独立更新，等效于 batch size 被除以 GPU 数 - 若 batch size 小于 4，
BatchNorm的 batch 统计方差太大，建议换GroupNorm或关掉affine参数试跑
为什么加了归一化层反而收敛更慢甚至发散？
根本原因常是学习率没重调：加 LayerNorm 后可适当提高 lr（+20%），而 BatchNorm 允许更大初始 lr，但若 backbone 原本用 AdamW + lr=5e-5，加入 BN 后不调 lr，BN 的 gamma/beta 参数可能震荡。
立即学习“Python免费学习笔记（深入）”；
-
LayerNorm的 weight 参数默认初始化为 1，bias 为 0，无需额外 init；但如果你手动reset_parameters()错误覆盖了它，会导致第一轮 forward 输出全零 -
BatchNorm的momentum默认 0.1，在长训练中太激进，小数据集建议设为 0.01 - 混合使用时注意顺序：CNN 主干后接 Transformer head？别在 CNN 输出后直接接
LayerNorm，shape 不匹配（[N,C,H,W] → 应先nn.AdaptiveAvgPool2d(1)再 flatten）
归一化不是“加了就稳”，而是把优化曲面变得更平滑——但前提是位置放对、统计可靠、超参跟上。最容易被忽略的是：BatchNorm 在 eval 模式下依赖 running stats 的完整性，而新加载的 checkpoint 如果没保存 num_batches_tracked，第一次 eval 就会 fallback 到 batch 统计。
