PyTorch中Seq2Seq注意力机制的核心实现位于独立的Attention模块（继承nn.Module），需在Decoder每步前计算attn_weights并生成context向量，输入为当前decoder hidden和全部encoder_outputs，输出用于拼接词嵌入；必须对齐维度、屏蔽padding、控制梯度流并复用encoder输出。
PyTorch中Seq2Seq注意力机制的核心实现位置在哪？
注意力权重的计算和上下文向量拼接，必须在 Decoder 的每一步前完成，不能放在 Encoder 里，也不能用全局平均替代。主流做法是把 Attention 实现为一个独立模块（继承 nn.Module），接收当前 decoder 隐藏态 hidden 和所有 encoder 输出 encoder_outputs，输出注意力权重 attn_weights 和上下文向量 context。
常见错误是直接对 encoder_outputs 做 torch.mean() 或用 hidden[-1] 硬编码取最后时刻——这根本不是注意力，只是带 RNN 的普通 Seq2Seq。
-
Attention模块输入维度必须对齐：若encoder_outputs是(seq_len, batch, hidden_size)，decoder hidden 通常是(1, batch, hidden_size)，需用unsqueeze(0)或transpose对齐再做点积 - 使用
torch.bmm()计算注意力得分时，注意batch_first=False下的 shape：(batch, 1, hidden)×(batch, hidden, seq_len)→(batch, 1, seq_len) - 避免在训练初期因 softmax 输入过大导致梯度爆炸，可在点积后加
/ sqrt(hidden_size)
如何让注意力正确作用于 LSTM/GRU decoder？
标准做法是把注意力生成的 context 向量与当前 decoder 的输入（词嵌入）拼接，再送入 decoder cell；而不是把 context 加到 hidden 上或替换 hidden。LSTM 的 hidden 和 cell 都只由上一时刻状态更新，context 是额外信息源。
典型错误是把 context 直接传给 decoder(input, (hidden, cell)) —— 这会报错，因为 input 必须是词向量，context 是 float tensor，二者维度不兼容。
立即学习“Python免费学习笔记（深入）”；
- decoder 每步输入应为：
torch.cat([embedded, context], dim=-1)，其中embedded来自self.embedding(target_token) - 若用 GRU，
hidden是单个张量；若用 LSTM，(hidden, cell)都要参与更新，但context只参与 input 拼接，不参与 hidden/cell 初始化 - 训练时 teacher forcing 比例高（如 0.5），但推理时必须用上一步预测 token 作为下一步输入，此时
context依赖上一步 decoder hidden，不能并行计算
为什么训练时 loss 突然 nan 或 attention 权重全为 0？
最常见原因是注意力得分未归一化或 softmax 输入含 inf/nan，尤其在使用 torch.bmm + softmax 时，若 encoder output 或 hidden 含 nan，整个 attn_weights 就崩了。另一个隐蔽原因是 decoder 输入 embedding 未设 padding_idx，导致 pad token 被查表成随机向量，污染 context。
- 在
Attention.forward开头加断言：assert not torch.isnan(encoder_outputs).any()，快速定位数据污染点 - softmax 前用
attn_energies = attn_energies.masked_fill(mask == 0, -1e10)屏蔽 padding 位置（mask 形状为(batch, seq_len)） - embedding 层务必设置
padding_idx=0，并在 dataloader 中对 target 序列调用pad_sequence(..., padding_value=0) - 学习率过高（>0.001）易使 attention score 指数级发散，建议从
3e-4起调
推理阶段如何避免 OOM 和重复计算 encoder outputs？
encoder 只需运行一次，其全部输出 encoder_outputs 和最终 hidden 应缓存并复用于整个解码过程。若每步都重新跑 encoder，显存暴涨且速度极慢。但要注意：encoder_outputs 必须保留梯度（训练时）或 detach（推理时），否则反向传播会尝试回传到已释放的 encoder 计算图。
- 训练时：直接传
encoder_outputs到 decoder，autograd 自动处理 - 推理时：用
encoder_outputs = encoder_outputs.detach()，并确保with torch.no_grad():包裹整个生成循环 - beam search 时，
encoder_outputs可按 beam width 复制：encoder_outputs.repeat(1, beam_width, 1)（注意维度顺序） - 不要在 decoder 循环内调用
encoder()，哪怕只有一行——这是性能杀手
注意力机制本身不难写，难的是对齐 shape、屏蔽 padding、控制梯度流和复用 encoder 输出。这几个点卡住，模型就永远学不会对齐词序。
