因为torch.stack要求所有张量形状完全一致，而变长序列的seq_len维度天然不同，直接调用会触发RuntimeError；必须先用pad_sequence等方法统一长度并记录真实长度，再通过collate_fn整合为batch。
为什么不能直接用 torch.stack 处理变长序列
因为 torch.stack 要求所有张量在指定维度上尺寸完全一致，而变长序列的 seq_len 维度天然不等。强行调用会抛出 RuntimeError: stack expects each tensor to be equal size。这不是数据问题，是操作语义限制——stack 是拼接（concat + 新增维度），不是对齐填充。
实际场景中，比如 NLP 的 batch 内句子长度不同、语音帧数不一、用户行为序列长短不一，都必须先 padding 再 collate，否则无法进模型。
- padding 值通常选 0（尤其 embedding 层输入）或
<pad></pad>对应的 token id - 必须同步记录每个样本的真实长度（
lengths），后续传给PackedSequence或 attention mask - 别在 Dataset 的
__getitem__里做 padding —— 会导致单条样本被 pad 成 batch 最大长，浪费显存且破坏 batch 内部长度分布
用 torch.nn.utils.rnn.pad_sequence 做标准 padding
这是 PyTorch 官方推荐的、专为 RNN 类任务设计的 padding 工具，输入是 List[Tensor]，默认按 batch_first=False（即 [seq_len, batch]），返回填充后的 Tensor 和可选的 lengths。
关键点：
立即学习“Python免费学习笔记（深入）”；
- 输入 Tensor 必须是同 dtype、同 dim 数（但 seq_len 维可不同），且除第一维外其余维度需一致（例如都是 [L, D]）
- 默认
padding_value=0.0，整数型 tensor（如 token ids）要显式设padding_value=0 - 若需
[B, L, D]格式，加参数batch_first=True，但注意此时lengths仍是原始 seq_len 列表，顺序不变
from torch.nn.utils.rnn import pad_sequence
<h1>假设 batch 中三条句子 token id 张量：[5], [12], [8]</h1><p>seqs = [torch.tensor([1,2,3,4,5]),
torch.tensor([10,20,30,40,50,60,70,80,90,100,110,120]),
torch.tensor([100,200,300,400,500,600,700,800])]</p><p>padded = pad_sequence(seqs, batch_first=True, padding_value=0)</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac">macOS UI 自动化技能包 —— 用 Python 控制你的 Mac</a>
<p>让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript
系统要求
macOS 14+ (Sonoma)
Python 3.9+
需要开启：辅助功能 + 屏幕录制权限</p>
</div>
<a href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><h1>→ shape: [3, 12]，自动补零到 max_len=12</h1><p>lengths = torch.tensor([len(s) for s in seqs]) # 必须自己算，pad_sequence 不返回 lengths
如何在 DataLoader 中自动完成 padding
靠自定义 collate_fn：它接管 batch 构建逻辑，在把 list of samples 合成 batch tensor 前插入 padding 步骤。不要动 Dataset，那是单样本逻辑。
典型写法：
- 检查输入是否为 list（
DataLoader传进来的是样本列表） - 分离出待 pad 的字段（如
input_ids）和无需 pad 的字段（如label） - 用
pad_sequence处理序列字段，用torch.stack处理定长字段 - 返回 dict 或 tuple，保持与模型 forward 输入签名一致
def collate_fn(batch):
input_ids = [item["input_ids"] for item in batch]
labels = torch.stack([item["label"] for item in batch])
<pre class="brush:php;toolbar:false;">padded_ids = pad_sequence(input_ids, batch_first=True, padding_value=0)
lengths = torch.tensor([len(x) for x in input_ids])
return {
"input_ids": padded_ids,
"lengths": lengths,
"labels": labels
}dataloader = DataLoader(dataset, batch_size=8, collate_fn=collate_fn)
padding 后怎么避免模型看到 padding 位置
光 padding 不够，模型（尤其是 Transformer）会在 padding 位置计算注意力、更新 hidden state，引入噪声。必须显式屏蔽。
常见做法：
- RNN 类：用
pack_padded_sequence+pad_packed_sequence，底层跳过 padding 位置的计算 - Transformer 类：构造
attention_mask，shape 同input_ids，padding 位置为 0，其余为 1；传给模型的attention_mask参数 - 别用
torch.where或手动置 -inf 做 mask —— 效率低且易出错；优先用模型原生支持的 mask 接口
例如 Hugging Face 的 AutoModel 直接接收 attention_mask，PyTorch 的 nn.TransformerEncoder 也接受 src_key_padding_mask（注意维度是 [B, S]，不是 [B, S, S]）。
最容易被忽略的是：lengths 和 attention_mask 必须严格对应同一 padding 策略（比如都用 padding_value=0），且在训练/验证/推理三阶段保持一致。混用不同 collate_fn 或漏传 mask，模型性能会掉得毫无征兆。
