TensorFlow 2.x优化器不支持weight_decay参数，需用kernel_regularizer+add_loss、tfa.optimizers.AdamW或手动训练循环实现；注意L2正则数值需折半匹配PyTorch，AdamW采用解耦衰减更鲁棒。
TensorFlow 2.x 中 optimizer 本身不支持 weight_decay 参数
直接在 tf.keras.optimizers.Adam 或 SGD 里传 weight_decay=1e-4 会报错——这是 PyTorch 用户最容易踩的坑。TensorFlow 的优化器原生不解析权重衰减，它把正则化逻辑交给层（kernel_regularizer）或模型级损失项处理。
推荐做法：用 kernel_regularizer + model.add_loss 实现等效 L2 衰减
这不是“妥协”，而是更可控的方式：你能精确指定哪些层参与正则、是否作用于 bias、是否随训练动态调整系数。
- 在定义层时传入
kernel_regularizer=tf.keras.regularizers.L2(l2=1e-4) - 模型构建后，调用
model.add_loss显式添加正则项（避免被compile的loss忽略） - 注意：
L2(1e-4)对应的是λ/2 × ||w||²，而 PyTorch 的weight_decay默认是λ × ||w||²，数值上需折半匹配（即想等效 PyTorch 的1e-4，这里用L2(5e-5)）
想复用 PyTorch 风格？用 tensorflow-addons 的 tfa.optimizers.AdamW
如果你必须让优化器“自己管衰减”，tfa.optimizers.AdamW 是最接近的方案，它把 weight decay 和梯度更新解耦，行为与 PyTorch 的 AdamW 一致。
- 安装：
pip install tensorflow-addons - 使用：
tfa.optimizers.AdamW(learning_rate=1e-3, weight_decay=1e-4) - 注意：
AdamW不是简单加 L2 loss，它在参数更新前对权重做衰减（decoupled decay），对 batch norm 层更友好 - 兼容性：TF 2.8+ 推荐用
tfa>=0.20，旧版可能有 eager mode 下的 graph tracing 问题
自定义训练循环中手动实现 weight decay 更灵活
当你用 @tf.function 写训练步、需要逐层控制（比如只衰减 Conv 的 kernel，跳过 bias 和 BN 参数），手动加 decay 最清晰。
立即学习“Python免费学习笔记（深入）”；
- 在
train_step中，遍历model.trainable_variables - 对每个变量，判断名称是否含
'kernel'且不含'bias'、'gamma'等 - 用
tf.nn.l2_loss(w) * decay_factor算 loss 项，再加到总 loss 上 - 别忘了：手动加的 loss 必须参与
GradientTape的 watch（通常默认已 watch trainable_variables）
真正难的不是写那几行正则代码，而是搞清你想要的到底是数学意义上的 L2 惩罚，还是工程上更鲁棒的 decoupled weight decay——前者用 kernel_regularizer 就够，后者得靠 AdamW 或手写 loop。
