pad_sequences仅填充不生成掩码，需显式传mask或加Masking层使模型跳过padding位置；填充值须与mask_value一致，且掩码需贯穿全链路。
为什么 tf.keras.preprocessing.sequence.pad_sequences 填充后还要手动加掩码？
因为 pad_sequences 只负责把列表补成等长张量，它不告诉模型“哪些位置是填的零、不该参与计算”。RNN/LSTM/Transformer 层默认会一视同仁处理每个时间步，导致 padding 位置干扰梯度和注意力权重。真正起作用的是后续显式传入的 mask 参数或 Masking 层。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 优先用
padding='post'（末尾填充），这是绝大多数 RNN 和Attention实现的默认假设 - 填充值必须与模型输入的“无效标记”一致：文本常用
0（对应<pad></pad>token id），数值序列也推荐用0，避免用 -1 或极值 - 如果原始序列含真实
0（比如温度数据），就不能用0填充，得改用特殊值（如-999），并同步在Masking层中设mask_value=-999
如何让 LSTM 层自动识别 padding 并跳过？
两种等效方式：一是用 Masking 层预处理，二是直接给 LSTM 传 mask。前者更直观，后者更省一层。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
Masking层时，确保它紧跟在 Embedding 或 Input 之后，且mask_value与填充值严格一致：model.add(Masking(mask_value=0.0))
- 手动传
mask给LSTM时，需先用tf.math.not_equal(x, 0)构造布尔掩码，再转为 float：mask = tf.cast(tf.math.not_equal(inputs, 0), tf.float32)
然后传入LSTM(..., mask=mask) - 注意：
return_sequences=False的 LSTM 在 masked 序列上仍会正确聚合——它只对非 mask 位置做最后输出，不是简单取最后一个时间步
Transformer 模型里 MultiHeadAttention 的 attention_mask 怎么配？
它要的是 shape 为 [batch, 1, seq_len, seq_len] 的二维布尔张量（或 float），表示每个 query 对每个 key 是否允许 attend。变长序列的 padding 位置必须被屏蔽，否则会泄露未来信息或引入噪声。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 从序列长度推导 mask：
def create_padding_mask(seq):<br> seq = tf.cast(tf.math.equal(seq, 0), tf.float32)<br> return seq[:, tf.newaxis, tf.newaxis, :]
输出 shape 正好匹配attention_mask - 如果用了
tf.keras.layers.MultiHeadAttention，直接传入该 mask；若用tf.keras.layers.Attention（缩放点积），则用attention_scores += (1.0 - mask) * -1e9手动屏蔽 - 训练时务必检查 mask 是否生效：打印
attention_weights，padding 列（对应 key 为 0 的位置）应全为 0
用 tf.data.Dataset 流水线做动态填充时，padded_batch 的坑在哪？
它比 pad_sequences 更高效，但参数语义容易误解：padded_shapes 不是目标形状，而是“每个维度允许的最大尺寸”，且 0 表示该维不 pad（即保持原长）。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 写法示例：
dataset.padded_batch(<br> batch_size=32,<br> padded_shapes=([None], []), # [seq_len] 变长，label 不 pad<br> padding_values=(0, 0) # seq 填 0，label 填 0<br>)
-
padding_values必须与数据类型一致：int64 序列就用0，float32 就用0.0，否则报TypeError: Cannot convert value 0 to a TensorFlow DType - 如果后续接
Embedding层，记得在padded_batch后加Masking层，因为padded_batch本身不生成 mask 张量
最易忽略的一点：掩码逻辑必须贯穿整个前向链路。哪怕你用 pad_sequences 填好了、Masking 层也加了，只要中间某层（比如自定义 Layer）没转发 mask，或者用了不支持 mask 的 ops（如裸 tf.reduce_mean），前面所有掩码就作废了。
