直接使用tf.keras.layers.MultiHeadAttention即可,它已封装Q/K/V投影、缩放点积、softmax及加权求和,并支持causal=True实现因果掩码;需注意输入shape为[batch, seq_len, features],query与value须对齐,num_heads须整除units。

TensorFlow里怎么写自定义Attention层
直接用 tf.keras.layers.Attention 或 tf.keras.layers.MultiHeadAttention 就行,不用从零手推缩放点积——除非你明确要改计算逻辑(比如换相似度函数、加mask方式特殊)。官方层已封装Q/K/V投影、缩放、softmax、加权求和,且支持causal_mask和attention_axes等关键控制。
MultiHeadAttention层的输入shape容易错在哪
它默认要求输入是 [batch, seq_len, features],但很多人传入二维张量(漏了batch维)或把seq_len和features顺序颠倒。更隐蔽的问题是:当用于encoder-decoder结构时,query和value必须同batch、同seq_len(对齐),而key可以不同(比如encoder输出更长),否则报错 ValueError: Dimensions must be equal。
-
query:decoder侧时序步,shape为[batch, tgt_len, d_model] -
value和key:通常来自同一来源(如encoder输出),shape为[batch, src_len, d_model] - 若手动拼接Q/K/V,注意
num_heads必须整除units(即d_model),否则初始化就失败
如何让Attention只看前面的token(因果掩码)
在decoder自注意力中,必须屏蔽未来信息,否则训练失效。别手动写上三角mask——MultiHeadAttention 有现成开关:causal=True。它会自动调用 tf.linalg.band_part(..., -1, 0) 生成下三角掩码,且与batch无关、不占额外内存。
- 仅对
query和key的点积结果应用掩码,不影响value投影 - 如果同时需要padding mask(如处理变长序列),得手动组合:用
tf.where(padding_mask, -1e9, 0)加到attention logits上 -
causal=True时,attention_mask参数仍可传入,两者会按位相加(logits先加causal mask,再加自定义mask)
自己实现ScaledDotProductAttention要注意什么
真要重写核心逻辑(比如加稀疏约束、换激活函数),重点不是公式,而是数值稳定性与梯度流。原生 tf.nn.softmax 在logits很大时会溢出,必须减去每行最大值;另外,tf.matmul 默认不支持半精度bfloat16的梯度回传,需显式设 precision=tf.float32。
将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。
立即学习“Python免费学习笔记(深入)”;
q = tf.cast(q, tf.float32) k = tf.cast(k, tf.float32) logits = tf.matmul(q, k, transpose_b=True) / tf.math.sqrt(tf.cast(d_k, tf.float32)) logits -= tf.reduce_max(logits, axis=-1, keepdims=True) # 防溢出 weights = tf.nn.softmax(logits)
最后记得把weights转回原始dtype再乘v,否则混合精度训练会中断。
实际项目里,90%的场景直接堆 MultiHeadAttention + LayerNormalization + Dropout 就够用;真正需要定制的,往往是mask逻辑或QKV的初始投影方式——而不是点积本身。

















