RNN通过隐藏状态传递时序信息，但难以捕捉长期依赖；LSTM引入遗忘门、输入门和输出门机制，有效解决梯度消失问题，提升对长距离依赖的学习能力，适用于语言建模、翻译等序列任务。
在处理序列数据时，比如时间序列、文本或语音，传统的神经网络难以捕捉数据中的时序依赖关系。RNN（循环神经网络）和LSTM（长短期记忆网络）是专门为这类任务设计的深度学习模型。
RNN（Recurrent Neural Network）简介
RNN 的核心思想是：利用“记忆”来处理序列信息。 它通过在每个时间步共享参数并保留隐藏状态（hidden state），将前面的信息传递到当前步骤。
举个例子，在一句话中预测下一个词时，RNN 会根据前面出现的词逐步更新隐藏状态，从而影响当前输出。
- 结构上，RNN 单元在每个时间步接收两个输入：当前时刻的输入 x_t 和上一时刻的隐藏状态 h_{t-1}
- 然后计算当前的输出 y_t 和新的隐藏状态 h_t
- 公式大致为：h_t = tanh(W_hh * h_{t-1} + W_xh * x_t)
虽然 RNN 理论上可以记住长期依赖，但在实际训练中容易出现梯度消失或梯度爆炸问题，导致难以学习远距离依赖关系。
立即学习“Python免费学习笔记（深入）”；
LSTM（Long Short-Term Memory）简介
LSTM 是 RNN 的一种改进版本，专门解决长期依赖问题。 它通过引入“门控机制”来控制信息的流动，决定哪些信息需要保留、哪些需要遗忘。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
LSTM 单元内部包含三个关键的门：
- 遗忘门：决定从细胞状态中丢弃哪些信息
- 输入门：决定哪些新信息要存储到细胞状态中
- 输出门：基于细胞状态决定当前输出的内容
这种结构让 LSTM 能够选择性地记住重要信息数个时间步，同时忽略不相关的干扰，因此在语言建模、机器翻译、情感分析等任务中表现更优。
在 Python 中的使用方式
使用 PyTorch 或 TensorFlow 可以轻松构建 RNN 和 LSTM 模型。以下是一个简单的 LSTM 示例（PyTorch）：
import torchimport torch.nn as nn
class SimpleLSTM(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, output_size):
super(SimpleLSTM, self).__init__()
self.hidden_size = hidden_size
self.num_layers = num_layers
self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
self.fc = nn.Linear(hidden_size, output_size)
def forward(self, x):
h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).requires_grad_()
c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).requires_grad_()
out, (hn, cn) = self.lstm(x, (h0.detach(), c0.detach()))
out = self.fc(out[:, -1, :])
return out
这段代码定义了一个基础的 LSTM 模型，可用于时间序列预测或文本分类任务。
基本上就这些。RNN 是处理序列的起点，而 LSTM 通过更复杂的结构显著提升了对长期依赖的学习能力。理解它们的工作原理有助于更好地应用在实际项目中。
