Dropout应加在全连接层后、激活函数前，PyTorch推荐nn.Linear→nn.Dropout→nn.ReLU；L2正则通过weight_decay或kernel_regularizer实现，避免手动加loss；过强正则会导致验证准确率停滞，需调低p和系数，并确保验证时关闭Dropout。
Dropout 层加在哪儿才有效
加在全连接层之后、激活函数之前最稳妥，不是“随便加一层就行”。Dropout 的作用是随机屏蔽神经元输出，如果加在激活之后（比如 ReLU 后），被屏蔽的是已经非线性的值，反而削弱了正则效果；加在 BatchNorm 之后也不推荐，因为 Dropout 会破坏 BatchNorm 统计量的稳定性。
- PyTorch 中推荐写法：
nn.Linear→nn.Dropout→nn.ReLU - Keras/TensorFlow 中用
Dropout层时，确保它紧跟在Dense层后，不要插在Activation层中间 - 卷积层后也可以加
Dropout2d，但p=0.1–0.3更合适，别照搬全连接层的p=0.5
L2 正则化是加在 loss 里还是参数上
不是手动改 loss 公式，而是通过优化器的 weight_decay 参数或层的 kernel_regularizer 配置来实现。直接往 loss 里加 torch.sum(w ** 2) 容易漏掉 bias、bn 参数，还可能和优化器的 weight decay 冲突导致双重惩罚。
- PyTorch：只在
nn.Linear或nn.Conv2d的weight上启用weight_decay，bias 和BatchNorm的weight/bias通常不参与 L2 - Keras：用
kernel_regularizer=regularizers.l2(1e-4)，别对bias_regularizer设相同值，一般设为None - 注意：
weight_decay在 Adam 中默认生效，但在 SGD 中必须显式传入，且不能和手动加的 L2 loss 混用
验证集 loss 下降但准确率卡住，是不是正则太狠了
很可能是。Dropout 和 L2 都会降低模型拟合能力，过度使用会让模型学不到关键模式，尤其在小数据或类别不平衡时更明显。典型表现是训练 loss 持续下降、验证 loss 先降后升（过早回升），但验证准确率长期不上升甚至微跌。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 先试
Dropout(p=0.2)起步，而不是一上来就p=0.5 - L2 的系数从
1e-5开始调，超过1e-3就容易压制特征学习 - 检查是否在 validation 阶段忘了关
Dropout（PyTorch 要model.eval()，Keras 自动处理）——否则验证指标会严重失真
为什么加了 Dropout 和 L2，训练速度变慢还显存涨了
Dropout 本身不增显存，但 PyTorch 的 Dropout 默认保留 mask 用于反向传播（inverted dropout），而某些旧版框架或自定义实现若没用 inverted 版本，会在 forward 时缓存 mask，导致显存上升。L2 本身计算开销极小，但若正则项应用到所有参数（包括大尺寸 embedding 或 BN 参数），梯度更新会变慢。
立即学习“Python免费学习笔记（深入）”；
- 确认 PyTorch 中用的是
nn.Dropout（inverted，默认行为），不是手写的非 inverted 实现 - Keras 中避免对
Embedding层加l2，除非明确需要；可改用activity_regularizer控制输出范数 - 训练时监控
model.training状态，防止误在 eval 模式下仍启用 dropout（虽然不会报错，但逻辑错乱）
Dropout 和 L2 不是开关式工具，它们的强度、位置、作用范围稍有偏差，模型就可能从“防过拟合”滑向“学不动”。最常被忽略的是验证阶段的模式切换和参数筛选——不是所有权重都该被正则。
