直接用nn.RNN处理变长序列会报错，因其要求batch内序列长度一致；需先pad_sequence对齐，再用pack_padded_sequence（需降序排列且lengths为CPU LongTensor）避免RNN读取padding。
为什么直接用 nn.RNN 处理变长序列会报错 RuntimeError: input.size(0) must be equal to seq_len
因为 nn.RNN 默认要求所有 batch 内的序列长度一致，而真实时序数据（比如用户行为日志、传感器采样）往往长短不一。PyTorch 不会自动 padding 或截断，你得自己处理。
常见错误现象：没做 pad_sequence 就直接喂进 RNN，或者用了 pack_padded_sequence 却忘了在输出前 pad_packed_sequence，导致维度对不上。
- 必须先用
torch.nn.utils.rnn.pad_sequence对齐 batch 内各序列，填充值默认是 0 - 如果要保留原始长度信息（避免 RNN 看到 padding 部分），一定要配合
torch.nn.utils.rnn.pack_padded_sequence+pad_packed_sequence -
pack_padded_sequence的lengths参数必须是 CPU 上的torch.LongTensor，GPU 上会直接报错 - 注意排序：传入
pack_padded_sequence前，序列要按长度降序排列，否则会报错
LSTM 比 RNN 强在哪？不是加了门就一定更好
LSTM 解决的是长期依赖衰减问题，但代价是参数更多、训练更慢。它不是万能解药——如果你的序列很短（nn.RNN 可能更快收敛，且不容易过拟合。
真正需要 LSTM 的典型场景：预测未来 50 步的股价、建模用户连续 200 次点击路径、语音帧序列识别。
立即学习“Python免费学习笔记（深入）”；
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
-
LSTM的hidden_size和num_layers对内存影响显著，hidden_size=128三层 LSTM 在 batch=32 时可能爆显存 - 不要盲目堆叠层数：
num_layers > 2后梯度消失风险反而上升，尤其没加 residual 连接时 -
LSTM输出的h_n是最后一层最后时刻的隐藏态，想用全部时间步输出就得取output张量（shape:[seq_len, batch, hidden_size]）
如何让模型真正“看见”序列顺序，而不是只记住统计特征
很多初学者把序列当普通特征拼接后送进全连接层，这完全丢掉了时序结构。RNN 和 LSTM 的核心价值在于隐状态的逐步演化，不是靠输入本身带顺序。
容易踩的坑：把时间戳、绝对位置作为额外特征和序列值拼在一起喂进去——模型根本学不会“先后”关系，只是记住了某些组合模式。
- 必须用
nn.RNN或nn.LSTM类，且输入 shape 为[seq_len, batch, feature_size]（注意 seq_len 在第一维） - 如果用
batch_first=True，输入 shape 变成[batch, seq_len, feature_size]，但内部计算逻辑不变，别因此误以为可以跳过时序建模 - 想强化顺序感知，可加位置编码（如正弦函数生成的
pos_encoding），但别直接加在输入上——应与 embedding 相加后再进 RNN
训练时 loss 突然 nan，大概率不是学习率太高
在 RNN/LSTM 中，nan 更常源于梯度爆炸，尤其在深层或长序列下。LSTM 虽缓解了梯度消失，但不等于免疫梯度爆炸。
典型触发条件：未裁剪梯度 + 序列长度 > 50 + 使用 tanh/relu 激活的自定义门控结构（非标准 LSTM）。
- 务必在
optimizer.step()前加torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) - 检查初始化：LSTM 的
weight_hh_l0如果用torch.randn初始化，容易引发不稳定，推荐保持 PyTorch 默认的正交初始化 - 验证阶段记得
model.eval()并关闭 dropout，否则dropout在 eval 模式下没关会导致输出异常
