LSTM
长短期记忆网络（Long Short-Term Memory, LSTM）是RNN的一种重要变体，专门为解决标准RNN的梯度消失和长距离依赖捕获问题而设计。LSTM通过引入门控机制和细胞状态，实现了对信息的精细化管理。
核心概念
LSTM的核心是细胞状态（Cell State） ，它像一条传送带贯穿整个时间链，使得信息可以在较长时间跨度内保持稳定流动。门控机制则控制信息的添加和移除。
三门机制
LSTM通过三个门来控制细胞状态中信息的流动：
遗忘门（Forget Gate）
控制长期状态中遗忘一些不重要的信息。根据当前输入 和上一时刻隐藏状态 ，输出一个在 [0, 1] 之间的值，决定对长期状态 中每个成分的保留程度：
- 值接近1表示”保留”，接近0表示”遗忘”
输入门（Input Gate）
控制重要信息添加到长期状态中。根据当前输入 和上一时刻隐藏状态 ，决定哪些新信息需要写入细胞状态：
同时创建一个候选细胞状态 ，然后更新细胞状态：
输出门（Output Gate）
控制长期状态中信息的输出程度。根据当前输入 和上一时刻隐藏状态 ，判断细胞状态 中哪些需要输出到隐藏状态 ：
工作流程总结
- 遗忘门决定丢弃哪些旧信息
- 输入门决定添加哪些新信息
- 更新细胞状态
- 输出门决定输出哪些信息作为当前隐藏状态
LSTM的优势
- 有效缓解梯度消失问题，能够捕获长距离依赖
- 门控机制使网络自主决定记忆或遗忘信息
- 在序列建模任务中表现优异（机器翻译、语音识别、文本生成等）
链接到
- 上一个知识点：5.2 循环神经网络
- 下一个知识点：5.4 GRU