不能直接套用 tf.keras.layers.Attention 复现 Bahdanau/Luong attention，因其不暴露 attention weights 计算逻辑、无法动态以 decoder state 生成 query、不支持自定义打分函数、mask 对齐困难，且训练/推理模式未分离，易导致梯度中断、维度错配与性能崩溃。
TensorFlow 原生 tf.keras.layers.Attention 和 tf.keras.layers.MultiHeadAttention 不适合直接复现经典 Seq2Seq（带 Bahdanau 或 Luong attention）的 encoder-decoder 架构；用 tf.keras.Model 手动构建并控制 attention 计算过程，才是稳定可控的做法。
为什么不能直接套用 tf.keras.layers.Attention 做机器翻译？
这个层默认做的是“self-attention”或“cross-attention”，但不暴露 attention weights 的中间计算逻辑，也无法接入 decoder 的隐藏状态（h_t）动态生成 query —— 而 Bahdanau attention 正是靠 h_t 和 encoder output 拼接后过一个全连接层来打分的。你强行塞进去，要么 attention 权重无法对齐时间步，要么梯度断在不可导的索引操作上。
常见错误现象：InvalidArgumentError: indices[0] = 12 is not in [0, 10)（decoder step 数和 encoder output 长度不一致）、loss 不下降、BLEU 分数卡在 0.02 左右。
- Luong attention 要求 decoder state 和 encoder hidden 直接点积，但
Attention层默认做缩放点积且强制要求query/key维度对齐，容易因 embedding 维度 ≠ rnn hidden size 报错 - 训练时需 teacher-forcing，推理时需自回归解码，而
Attention层本身不区分这两种模式 - batch 内序列长度不一时，encoder output 是 padded 张量，attention score 必须 mask padding 位置 ——
Attention层的attention_mask参数只接受布尔型，且需与 query/key 同 batch/time 形状，实际很难对齐
手动实现 Bahdanau attention 的关键三步
核心是定义一个可训练的 Attention 类，继承 tf.keras.layers.Layer，并在 call() 中完成 score → weights → context vector 全流程。
立即学习“Python免费学习笔记（深入）”；
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
使用场景：中英新闻标题翻译（max_len=32）、代码注释生成（输入函数签名+body，输出 docstring）。
-
score 计算：用
tf.keras.layers.Dense对 decoder hidden（h_t）和 encoder outputs（H）分别映射后相加再过 tanh，最后用 1×1 卷积（Dense(1)）压缩为 score 向量 -
mask 处理：传入
encoder_mask（shape=[B, T_enc]），用tf.where将 padding 位置设为-inf，再进tf.nn.softmax -
context vector：
tf.linalg.matmul(weights, H)，注意weights是 [B, 1, T_enc]，H是 [B, T_enc, H_dim]，结果为 [B, 1, H_dim]
示例片段：
class BahdanauAttention(tf.keras.layers.Layer):
def __init__(self, units):
super().__init__()
self.W1 = tf.keras.layers.Dense(units)
self.W2 = tf.keras.layers.Dense(units)
self.V = tf.keras.layers.Dense(1)
<pre class='brush:python;toolbar:false;'>def call(self, query, values, mask=None):
# query: [B, H], values: [B, T, H]
hidden_with_time_axis = tf.expand_dims(query, 1) # [B, 1, H]
score = self.V(tf.nn.tanh(self.W1(hidden_with_time_axis) + self.W2(values)))
if mask is not None:
score += tf.cast(~mask[:, tf.newaxis], tf.float32) * -1e9
attention_weights = tf.nn.softmax(score, axis=1) # [B, T, 1]
context_vector = attention_weights * values
context_vector = tf.reduce_sum(context_vector, axis=1) # [B, H]
return context_vector, attention_weights训练与推理必须拆开写，不能共用同一个 Model
teacher-forcing 训练时，decoder 输入是真实目标序列左移一位（target[:, :-1]），输出对齐 target[:, 1:]；推理时，每步输出 token 后要嵌入、送入 RNN，再进 attention，循环直到 <end></end>。混在一起写，@tf.function 会因动态 shape 报 Unknown shape 错误。
- 训练用
tf.keras.Model封装 encoder + decoder + attention，call()接收inp,targ，返回 logits - 推理单独写
evaluate()函数：初始化 decoder hidden/state，用tf.while_loop或 Python for 循环（加@tf.function会失败，因 while_loop 内部 tensor shape 依赖前步输出） - 务必在 decoder embedding 层后加
tf.keras.layers.Dropout，否则 attention weights 容易坍缩到单个时间步（尤其短句）
attention context vector 和 decoder hidden state 的拼接方式、是否 residual 连接、decoder 初始 hidden 是否来自 encoder 最终 state —— 这些细节没调好，loss 曲线会在 2.8 附近震荡，而不是平滑下降到 1.2 以下。别迷信“标准实现”，先打印 attention_weights[0] 看它是否真的聚焦在对应中文词上，再调参。
