多流输入拼接需确保设备一致、维度对齐、梯度连通；cat前用.to(device)统一设备，除拼接维外其余维须相同，序列与向量需unsqueeze/repeat对齐；拼接逻辑必须在forward内，不可固化；collate_fn需自定义stack，可变长输入用pad_sequence；优先用cat而非stack。
PyTorch Forward里怎么拼接多个输入张量
多流输入（比如图像+文本+传感器信号）在forward中不能靠简单相加或拼接就完事，得看维度对不对、设备是否一致、梯度是否连通。最常见错误是torch.cat报RuntimeError: expected same device或者size mismatch。
实操建议：
立即学习“Python免费学习笔记（深入）”；
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 先用
.device检查每个输入张量的设备，不一致就统一调用.to(device)，别依赖模型自动搬运 - 拼接前确保除拼接维度外，其余维度完全一致；例如图像特征
(B, 512)和文本特征(B, 768)可以torch.cat([img_feat, txt_feat], dim=1)，但不能dim=0 - 如果某路输入是序列（如
(B, T, D)），而另一路是单向量（(B, D)），得先unsqueeze(1)或repeat对齐，否则cat会静默失败或维度错乱
为什么不能直接在__init__里定义nn.Linear合并特征
有人想省事，在__init__里写self.fuse = nn.Linear(512 + 768, 256)，然后在forward里把两路输入拼好再送进去——这本身没错，但容易忽略：拼接操作必须发生在forward里，且要保证每次前向都走同一路径。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 拼接逻辑必须写在
forward内，不能提前固化成常量或缓存张量，否则torch.jit.trace或DataParallel下会出错 - 如果某路输入可能为
None（比如训练时有缺失模态），别用if x is not None硬判断，改用torch.where或预设占位张量，避免计算图断裂 -
nn.Linear的输入维度必须严格匹配拼接后形状，建议在forward开头加assert x_cat.shape[1] == self.fuse.in_features，尤其在调试多模态分支时很有用
多流输入时DataLoader怎么喂数据才不崩
PyTorch DataLoader默认只支持单个__getitem__返回值，强行返回(img, txt, label)三元组没问题，但collate_fn必须重写，否则batch[0]会变成list而非stacked tensor。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 自定义
collate_fn里对每路输入分别调用torch.stack，不要用default_collate——它对嵌套结构支持差，容易把图像batch弄成list of tensors - 如果某路输入长度可变（如文本token数不同），得用
pad_sequence处理，且注意padding_value设为0还是-100取决于后续loss是否忽略padding - 验证时别忘了用
torch.no_grad()包裹整个forward，否则多流拼接产生的中间tensor仍会保留grad_fn，显存涨得比训练还猛
torch.cat和torch.stack在多流合并时怎么选
两者语义完全不同：torch.cat是“接起来”，torch.stack是“叠起来”。图像+文本特征融合基本只用cat；只有当多路输入本质是同一类型（比如双摄像头图像）才考虑stack。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
cat时，目标维度索引必须明确，比如dim=1拼特征，dim=0拼batch（极少这么做） - 用
stack要求所有输入shape完全相同，且会新增一维，比如(B, C, H, W)堆两个视图得到(B, 2, C, H, W)，后续必须跟nn.Conv3d或permute才能继续 - 性能上
cat更轻量，stack涉及内存重排，小batch看不出差别，但大模型分布式训练时，stack可能触发额外all-gather
forward第一行就打印shape和device，别嫌烦。 
