5.4 GRU

GRU

门控循环单元（Gated Recurrent Unit, GRU）是循环神经网络（RNN）的一种重要变体，由Cho等人于2014年提出。GRU简化了LSTM的架构，将遗忘门和输入门合并为更新门，同时合并了细胞状态和隐藏状态，在保持门控机制优势的同时减少了参数量。

核心结构

GRU引入了两个门控机制：更新门（Update Gate）和重置门（Reset Gate）。

更新门 $z_t$

更新门控制前一时刻的隐藏状态有多少信息被保留到当前时刻：

$$z_t=\sigma (W_z\cdot [h_{t-1},x_t]+b_z)$$

• 值接近1表示保留大部分之前的信息
• 值接近0表示更多地依赖当前输入

重置门 $r_t$

重置门控制前一时刻的隐藏状态对当前候选隐藏状态的影响程度：

$$r_t=\sigma (W_r\cdot [h_{t-1},x_t]+b_r)$$

• 值接近1表示充分考虑之前的隐藏状态
• 值接近0表示忽略之前的隐藏状态

候选隐藏状态 ${\tilde{h}}_t$

利用重置门调整后的过去信息，计算当前的候选隐藏状态：

$${\tilde{h}}_t=\tanh (W\cdot [r_t\odot h_{t-1},x_t]+b)$$

最终隐藏状态 $h_t$

通过更新门在旧的隐藏状态和候选隐藏状态之间进行加权平均：

$$h_t=(1-z_t)\odot h_{t-1}+z_t\odot {\tilde{h}}_t$$

GRU与LSTM对比

特性	GRU	LSTM
门数量	2个（更新门、重置门）	3个（遗忘门、输入门、输出门）
细胞状态	无独立细胞状态	有独立细胞状态
参数量	较少	较多
计算效率	更高	较低
表达能力	在多数任务中与LSTM相当	在某些长序列任务中更优

GRU作为LSTM的简化版本，在许多序列建模任务中（如语音识别、机器翻译、文本生成）表现出与LSTM相当的性能，同时训练速度更快，更不容易过拟合。

链接到

• 上一个知识点：5.3 LSTM
• 下一个知识点：5.5 深度自编码器