torch.nn.MultiheadAttention报“expected 3D input”错误，因其默认输入格式为(seq_len, batch_size, embed_dim)，而LSTM等模块输出为(batch_size, seq_len, hidden_size)，需显式设置batch_first=True并确保输入无NaN/inf。
SelfAttention 不是黑箱，它本质是一组可学习的线性变换 + 矩阵运算，关键在于控制好维度、缩放和掩码逻辑。直接套用现成模块容易在 batch 维度或序列长度变化时出错，尤其是和 LSTM 或 GRU 拼接时。
为什么 torch.nn.MultiheadAttention 会报 “expected 3D input” 错误？
这是最常踩的坑：该层默认只接受 (seq_len, batch_size, embed_dim) 格式（即 time-first），而绝大多数序列模型（包括 LSTM 输出）默认是 (batch_size, seq_len, hidden_size)（batch-first）。强行传入会触发维度 mismatch，错误信息里常带 expected 3D input 或 size mismatch。
- 解决方法不是改数据，而是显式设
batch_first=True：attn = nn.MultiheadAttention(embed_dim=128, num_heads=4, batch_first=True)
- 若仍报错，检查输入是否含
nan或inf——softmax在极端值下会崩，建议在forward中加torch.isnan(x).any()断言 - 注意
MultiheadAttention的key和value参数可不等于query；做 cross-attention 时才需要传不同张量，自注意力场景下三者同源即可
SelfAttention 类里 math.sqrt(d_k) 缩放因子能省吗？
不能省，且必须用 key 向量的最后一个维度（即 d_k），不是 embed_dim。当 num_heads > 1 时，每个 head 的 d_k = embed_dim // num_heads，若错用全局 embed_dim，分数会被过度压缩，导致 softmax 输出趋近均匀分布 —— 模型“看不见”差异。
- 正确写法：
scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(K.size(-1))
- 若用
nn.Linear分别生成 Q/K/V，确保它们输出维度一致（除非你明确要做 asymmetric attention） - 缩放后若仍有梯度消失，可尝试
torch.nn.init.xavier_normal_初始化权重，而非默认的 uniform
怎么把 SelfAttention 插进 LSTM 后面而不破坏时序结构？
常见错误是直接对 LSTM 输出做 attn(x)，但 LSTM 的输出包含 h_n（最后时刻隐状态）和 output（所有时刻输出），真正要送进 attention 的是 output，且需保留原始序列顺序。
-
LSTM输出 shape 是(batch_size, seq_len, hidden_size)，直接喂给 batch-first attention 即可 - 不要用
h_n—— 它只有 1 步长，无法建模 token 间关系 - 若想增强局部感知，可在 attention 前加一层
nn.LayerNorm；若想抑制过拟合，attention 后接nn.Dropout(p=0.1)比在 LSTM 内部 dropout 更有效 - 注意：LSTM 输出可能含 padding，必须同步传入
attn_mask（shape=(batch_size, seq_len)），否则 padding 位置也会参与 attention 计算
自己写 forward 时，Q @ K.T 和 torch.bmm 选哪个？
看 batch 维度是否存在。如果确定是单样本（seq_len × d），用 @ 最直觉；但实际训练永远是 batched，此时 torch.bmm 显式要求三维输入，容错性更高 —— 它会报错提醒你漏了 batch 维度，而 @ 可能静默 broadcast 出错结果。
立即学习“Python免费学习笔记（深入）”；
- 推荐统一用
torch.einsum：更清晰表达意图，比如torch.einsum('bik,bjk->bij', Q, K)明确说明 batch、seq、dim 三轴 - 避免用
np.dot或np.matmul—— 它们不支持自动微分，且无法处理 GPU 张量 - 若序列很长（>512），点积矩阵会吃爆显存，此时应考虑
memory-efficient attention实现（如flash-attn库），而非硬写循环
view、transpose、permute 前，都该心里默念一遍当前 shape 和下一步要喂给谁。形状错了，后面全错；形状对了，剩下就是调参和 debug。 
