TensorFlow 2.x 中应优先使用 tf.keras.layers.Attention 或 MultiHeadAttention；前者需自行用 Dense 层做 Q/K/V 投影，输入为 [query, value, key] 三元组且特征维须一致；后者要求特征维能被 num_heads 整除并显式指定 key_dim；手动实现缩放点积注意力时必须在 softmax 前添加 mask（如 -1e9）防止 nan，且 mask 需为 float32 类型；decoder 的 causal mask 应用 tf.linalg.band_part 生成下三角矩阵并扩展 batch 维。
Attention层怎么用tf.keras.layers实现（不写自定义类）
TensorFlow 2.x 官方推荐优先用 tf.keras.layers.Attention 或 tf.keras.layers.MultiHeadAttention，而不是从零手写点积注意力公式。它们已做数值稳定处理（如 softmax 前减去最大值）、支持 mask、兼容 eager 和 SavedModel 导出。
常见误操作是把 tf.keras.layers.Attention 当成“带权重的全连接”，其实它只做 attention scores 计算 + 加权求和，**不包含 Q/K/V 的线性投影**——那部分得你自己用 Dense 层先做。
- 输入必须是三元组：
[query, value, key]（key可省略，默认等于value） -
query形状为(batch, q_timesteps, features)，value/key为(batch, v_timesteps, features)；二者 feature 维需一致，否则报错ValueError: Shapes ... are incompatible - 若要 mask 填充位置，传入
attention_mask参数（shape:(batch, q_timesteps, v_timesteps)），别用Masking层替代
MultiHeadAttention 层的 input_shape 容易踩哪些坑
tf.keras.layers.MultiHeadAttention 要求所有输入的最后一个维度（即特征维）能被 num_heads 整除，且必须显式指定 key_dim（即每个 head 的 Q/K 投影维度），不能只靠输入推断。
典型错误：直接把原始 embedding 向量（如 shape=(128,)）喂给 MultiHeadAttention(num_heads=8)，结果报 InvalidArgumentError: key_dim must be divisible by num_heads。
立即学习“Python免费学习笔记（深入）”；
- 正确做法：先过一层
Dense(units=512)（确保 512 % 8 == 0），再进MultiHeadAttention(num_heads=8, key_dim=64) -
key_dim不是输入维度，而是每个 head 内 Q/K 的投影后维度；总 Q/K 尺寸 =num_heads * key_dim - 如果
query和value来自不同编码器（如 encoder-decoder），务必传入value和key两个张量，否则默认key=value，导致 decoder 看不到 encoder 输出
手动实现缩放点积注意力时为什么 softmax 结果全是 nan
手写 tf.matmul(q, k, transpose_b=True) / tf.math.sqrt(float(key_dim)) 后接 tf.nn.softmax，若输入含极大负数（如 padding 位置未 mask），softmax 指数溢出为 0，再除以 0 得 nan。
这不是 bug，是没加 attention mask 的必然结果。
- 必须在 softmax 前用
mask把无效位置设为-1e9（或-np.inf，但 tf 中用-1e9更稳） - 正确顺序：
scores = tf.matmul(q, k, transpose_b=True) / scale→scores += (1.0 - mask) * -1e9→weights = tf.nn.softmax(scores) - 注意 mask 类型要是
float32，否则1.0 - mask会因类型不匹配报错TypeError: Expected float32 passed to parameter 'alpha' of op 'Add'
Decoder 中的 causal mask 怎么生成才不出错
训练时 decoder 需防止看到未来 token，要用上三角为 0 的 mask（causal mask）。别用 np.triu 在 numpy 里生成再转 tensor——形状动态时会出问题。
应直接用 TensorFlow 原生 ops，在图模式下也安全。
- 推荐写法：
seq_len = tf.shape(inputs)[1]→mask = tf.linalg.band_part(tf.ones((seq_len, seq_len)), -1, 0)（下三角含对角线为 1）→mask = tf.cast(mask, tf.float32) - 若用于
MultiHeadAttention，需扩展 batch 维：mask = tf.expand_dims(mask, 0)，再广播到 batch 大小 - 别漏掉
tf.linalg.band_part(..., -1, 0)的第二个参数是 0（保留下三角），写成1就变成“允许看下一个 token”，破坏因果性
真正麻烦的不是公式怎么写，而是 mask 的 shape 对齐、dtype 一致、以及 eager 下看似正常但 SavedModel 导出时报维度未知——这些细节在 stack trace 里藏得很深，调试时优先检查 mask 的 tf.shape() 和 dtype。
