PyTorch中Dropout层不失效的关键是正确调用model.train()和model.eval()切换模式，因其行为完全依赖model.training标志位：训练时随机置零并缩放，验证/测试时恒等映射；漏切模式会导致指标崩坏。
PyTorch里Dropout层怎么写才不会失效？
Dropout在训练时随机置零，推理时自动关闭——但很多人忘了model.train()和model.eval()的切换，导致模型在验证时仍丢弃神经元，结果指标崩坏。PyTorch的nn.Dropout本身不保存状态，它完全依赖training标志：只有model.training == True时才生效。
- 训练循环中务必调用
model.train()（哪怕只有一行），否则nn.Dropout变成透明层 - 验证/测试前必须调用
model.eval()，否则nn.Dropout继续随机丢弃，输出不可复现 - 如果手动设置
model.training = False，nn.Dropout会跳过所有计算，但注意这不等价于eval()（后者还影响BatchNorm）
除了nn.Dropout，还有哪些内置正则化层可用？
PyTorch提供了多个开箱即用的正则化组件，适用场景和行为差异明显，不能混用。
-
nn.Dropout2d：专为4D张量（N, C, H, W）设计，按整个通道置零，适合CNN特征图；对全连接层用它会报错 -
nn.AlphaDropout：配合nn.SELU激活函数使用，保持输入的自归一化特性；单独用于ReLU会破坏分布 -
nn.Dropout3d：仅适用于5D输入（如视频或体数据），普通图像任务别误用 - 所有Dropout变体都**不改变输出形状**，但
inverted dropout实现（PyTorch默认）会让训练时输出放大1/(1-p)，所以推理时无需缩放
想自定义Dropout逻辑，比如按行/列丢弃或结构化丢弃怎么办？
直接继承nn.Module写一个轻量级模块更可控，比魔改nn.Dropout源码安全得多。
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
- 用
torch.bernoulli生成mask比torch.rand+ 比较更稳定，尤其低概率时避免浮点误差 - 若需按行丢弃（如RNN中整条时间步置零），对
input的第0维生成mask并广播：mask = torch.bernoulli(torch.full((input.size(0),), 1 - p))[:, None] - 结构化Dropout（如整组参数一起丢）建议在
forward里用torch.nn.functional.dropout配合inplace=False，避免干扰梯度流 - 自定义层记得在
__init__里注册p为self.p = p，否则无法被model.parameters()捕获（虽然Dropout本身无参）
为什么加了Dropout反而过拟合更严重？
Dropout不是万能银弹，用错位置或参数会起反作用。最常见的是在输出层之后加nn.Dropout，或者在小数据集上设过高p（如0.8）。
立即学习“Python免费学习笔记（深入）”；
- Dropout应插在非线性激活后、下一层线性变换前，例如
Linear → ReLU → Dropout → Linear；放在Linear → Dropout → ReLU里会破坏激活稀疏性 - 小模型（参数p > 0.5容易导致有效容量骤降，训练损失难下降
- 与L2正则（
weight_decay）叠加时，两者作用域不同：Dropout抑制特征共适应，L2压制权重绝对值；但weight_decay设太大（如1e-2）可能掩盖Dropout效果 - BatchNorm和Dropout共存时，Dropout最好放在BN之后——BN已做归一化，再Dropout不会大幅偏移均值
Dropout的“随机性”是双刃剑：它靠扰动训练路径来提升泛化，但这种扰动必须精准控制作用域、时机和强度。最容易被忽略的，其实是训练/验证模式切换的位置粒度——比如在多任务模型中，某个head用了Dropout而另一个没用，model.eval()会统一关掉所有Dropout，此时得手动控制子模块的training属性。
