AI算法基础 [11]：门控递归单元GRU

前言

门控递归单元（Gated Recurrent Unit，GRU）是LSTM的一个流行的简化变种，由Cho, et al. (2014)提出。

算法原理

GRU将遗忘门和输入门合并成一个更新门（update gate）（输出为$z_t$），将胞元状态$C$和隐藏层状态$h$合二为一，并且加了一个作用于隐藏层状态$h$的重置门（reset gate）（输出为$r_t$）。

GRU聪明的一点就在于使用了同一个门控$z$同时完成了遗忘（$1-z$）和记忆（$z$）的操作。遗忘和记忆的程度之和为1，就保证了$h$的尺度不变，也就省去了输出前的tanh操作。

与LSTM的对应关系

• 1. GRU的$h_{t-1}$对应到LSTM的胞元状态$C_{t-1}$；
• 2. GRU重置门其实对应到LSTM的输出门，则GRU的$r_t*h_{t-1}$对应到LSTM的隐藏层状态$h_{t-1}$，相当于隐藏层状态即算即用，也就不用额外的变量存储隐藏层状态了；
• 3. GRU的$1-z_t$对应到LSTM的遗忘门输出$f_t$，GRU的更新门输出$z_t$对应到LSTM的输入门输出$i_t$；

总结

GRU能达到与LSTM相同的功能，但参数比LSTM要少，需要的计算资源和时间成本更少，没有理由不流行嘛 ( :

参考

[1] Understanding LSTM Networks

[2] 人人都能看懂的GRU