LayerNormalization 用 tf.keras.layers.LayerNormalization，默认对特征轴归一化，不依赖 batch size，适用于 RNN/Transformer；与 BN 的本质区别在于统计维度不同，LN 沿特征维计算均值方差，训练推理行为一致。
LayerNormalization 在 TensorFlow 中怎么加
直接用 tf.keras.layers.LayerNormalization，不是 BatchNormalization，也不是手动写归一化逻辑。它默认对最后一个轴（feature 维度）做归一化，适合 RNN、Transformer 这类变长或小 batch 场景。
常见错误是把它当 BatchNormalization 一样插在 Conv 层后面还设 axis=-1 —— 其实没问题，但容易忽略它不依赖 batch size 的本质，导致调试时误判梯度异常。
- 标准用法：
model.add(tf.keras.layers.LayerNormalization())（函数式 API 同理，传入前一层输出） - 若输入是 3D 张量
(batch, seq_len, features)，它默认对features维归一化；想对seq_len归一化？改axis=1 - 训练/推理行为一致，没有
training参数开关，不用像 BN 那样区分模式
LayerNormalization 和 BatchNormalization 的关键区别
根本差异不在“层”还是“批”，而在统计量计算维度：BN 沿 batch 维计算均值方差（axis=[0] 或含 0），LN 沿特征维计算（axis=-1 默认）。所以 LN 在 batch_size=1 或 RNN 单步推理时照样稳定。
- BN 在小 batch 下统计不准，LN 不受影响；但 LN 对 feature 维敏感——如果某维特征尺度差异极大（比如 embedding + 手工特征拼接），可能需要先标准化再进 LN
- LN 的
epsilon默认是1e-3，比 BN 的1e-3稍大，遇到极小方差时更鲁棒；可按需调小，但别低于1e-5，否则 FP16 下易 nan - 权重初始化无关——LN 自身无可训参数（
gamma/beta可开关），但通常保留，即center=True, scale=True（默认）
为什么加了 LayerNormalization 模型反而不收敛
大概率不是 LN 本身的问题，而是位置或输入分布不匹配。LN 对输入的数值范围其实有隐含要求：期望输入均值接近 0、方差不太离谱（比如 std > 10 或 ）。
立即学习“Python免费学习笔记（深入）”；
- 常见坑：Embedding 层后直接接 LN，但 embedding 初始化方差大（如
truncated_normal(stddev=0.02)）且未中心化，导致 LN 输入偏移严重；建议 embedding 后加tf.keras.layers.Lambda(lambda x: x - tf.reduce_mean(x, axis=-1, keepdims=True))或换用normalizer_fn预处理 - Transformer 中，LN 通常放在子层输出之后（Post-LN），而不是输入之前（Pre-LN）；放错位置会导致梯度缩放异常，尤其深层模型
- 检查是否和 Dropout 冲突：LN 放在 Dropout 后是常规做法；若反过来，Dropout 的零值会拉低 LN 的方差估计，虽不影响训练，但可能让 early stopping 判定失真
自定义 LayerNormalization 的 gamma/beta 初始化
默认 gamma 初始化为 1、beta 为 0，但某些结构（如 GAN 的生成器）需要更激进的缩放，可以显式指定。
ln = tf.keras.layers.LayerNormalization(
gamma_initializer=tf.keras.initializers.Constant(2.0),
beta_initializer=tf.keras.initializers.Zeros(),
center=True,
scale=True
)注意：gamma_initializer 只在 scale=True 时生效；若关掉 scale，LN 就只剩减均值，相当于强制白化——这在某些正则化实验中有用，但多数情况不推荐。
真正容易被忽略的是：LN 的 trainable 参数默认为 True，但如果你在微调时冻结 backbone，记得同步冻结它的 gamma 和 beta（ln.trainable = False 会一并处理，无需单独操作变量）。
