pack_padded_sequence必须与pad_packed_sequence成对使用，输入需time-major格式、长度降序排列且lengths为CPU int64张量，否则引发维度错误或静默截断；RNN输出须解包后才能正确取各序列真实末尾。
pack_padded_sequence 必须配合 pad_packed_sequence 使用
单独调用 pack_padded_sequence 不会报错，但后续直接送入 RNN 会触发 RuntimeError: input.size(-1) must be equal to input_size 这类看似奇怪的尺寸错误——本质是 packed tensor 的内部结构不兼容普通 RNN 的输入预期。它必须和 pad_packed_sequence 成对出现，前者压缩填充，后者还原回标准张量。
典型流程是：pad_sequence → pack_padded_sequence → RNN → pad_packed_sequence。中间任何一步跳过或顺序颠倒都会导致维度错乱或梯度中断。
-
pack_padded_sequence返回的是PackedSequence对象，不是普通Tensor，不能直接索引、打印 shape 或参与非 RNN 的计算 -
lengths参数必须是 CPU 上的 1D int64 张量（torch.int64），GPU 上会报expected a CPU tensor - 传入的
input必须是 (seq_len, batch, features) 格式（即 time-major），不是默认的 (batch, seq_len, features)
padding 前必须按长度降序排列 batch
pack_padded_sequence 要求输入 batch 中所有序列按长度从长到短排序，否则会静默截断——它只认第一个序列的长度为该 batch 的“真实最大长”，后面更长的序列会被强制裁剪，且不报错。这种 bug 极难定位，因为输出 tensor 形状看起来正常，但结果完全不可信。
正确做法是在 pad_sequence 后、送入 pack_padded_sequence 前，显式排序：
lengths = torch.tensor([len(x) for x in unsorted_batch], dtype=torch.int64) sorted_lengths, sort_idx = torch.sort(lengths, descending=True) sorted_batch = [unsorted_batch[i] for i in sort_idx.tolist()] padded = pad_sequence(sorted_batch, batch_first=False, padding_value=0.0) packed = pack_padded_sequence(padded, sorted_lengths, enforce_sorted=True)
-
enforce_sorted=True（默认）会跳过检查，但要求你确保已排序；设为False时它会内部重排，但会破坏你原本的 label 对齐，除非你同步重排 label - 排序必须作用于原始 list 或 CPU tensor，不能在 GPU 上做
torch.sort后直接喂给pack_padded_sequence（因 lengths 需 CPU）
RNN 输出后必须用 pad_packed_sequence 恢复对齐形状
即使你只关心最后一个时间步的隐藏态（如 output[-1]），也不能跳过 pad_packed_sequence。RNN 在 packed 模式下输出的 output 仍是 PackedSequence，其内部存储是紧凑的、无填充的，直接取 [-1] 会拿到最短序列的末尾，而非每个样本的真实末尾。
正确方式是先解包再取：
packed_out, hidden = rnn(packed) unpacked_out, _ = pad_packed_sequence(packed_out, batch_first=False) # 此时 unpacked_out.shape == (max_len, batch, hidden_size) # 取每个样本真实结尾：[unpacked_out[lengths[i]-1, i] for i in range(batch_size)]
-
pad_packed_sequence默认用 0 填充，若需其他填充值（如 -inf 用于 softmax mask），得手动后处理 - 若 RNN 是双向的，
hidden是 (num_layers * num_directions, batch, hidden_size)，需 reshape 分离方向，不能直接拼接 - 注意
unpacked_out的时间维仍是原始最大长，不是原序列长；真实有效位置仍由lengths控制
替代方案：PackedSequence 并非唯一解，考虑 masked_fill + attention
如果你的模型主体是 Transformer 或自定义 attention，强行用 pack_padded_sequence 反而增加复杂度。现代做法更倾向保留原始 padded shape，改用 attention_mask 或 masked_fill 屏蔽无效位置：
mask = torch.arange(max_len).expand(batch_size, max_len) < lengths.unsqueeze(1)
masked_logits = logits.masked_fill(~mask, float('-inf'))- 对于 LSTM/GRU 类 RNN，pack/pad 仍有明显速度与显存优势（尤其长序列多、长度差异大时）
- 但对于短序列（平均
- huggingface 的
transformers库全程回避 PackedSequence，全靠 attention_mask，说明工程权衡中可读性与灵活性常优先于理论最优
实际用的时候，最容易漏掉的是 lengths 放 CPU 和 batch 排序这两步——它们不出现在任何错误 traceback 里，但会让结果彻底失效。
