数值优化算法【4】-- Adam 方法
RMSProp 和 AdaDelta 均采用加权移动平均的方法，对二阶动量做了窗口限制，使得学习效率得到明显提升； AdaDelta 方法进一步对学习率的分子项做了自动累积计算，无需人工指定全局学习率超参数（实际情况表明， AdaDelta 容易陷入局部最优解的陷阱）。 Adam 算法则采用了另外一种思路，其没有将思路放在自动计算学习率上，而是考虑将一阶动量引入学习率的更新，使学习过程更优。
1、 算法介绍
Adam 算法使用了一阶动量变量 v t \boldsymbol{v}_t v t G t \boldsymbol{G}_t G t
给定超参数 0 ≤ β 1 < 1 0 \leq \beta_1 < 1 0 ≤ β 1 < 1 0.9 0.9 0.9 t t t v t \boldsymbol{v}_t v t g t \boldsymbol{g}_t g t v t − 1 v_{t-1} v t − 1
v t ← β 1 v t − 1 + ( 1 − β 1 ) g t \boldsymbol{v}_t \leftarrow \beta_1 \boldsymbol{v}_{t-1} + (1 - \beta_1) \boldsymbol{g}_t
v t ← β 1 v t − 1 + ( 1 − β 1 ) g t
和 RMSProp 算法中一样，给定超参数 0 ≤ β 2 < 1 0 \leq \beta_2 < 1 0 ≤ β 2 < 1 t t t G t G_t G t G t − 1 G_{t-1} G t − 1 g t ⊙ g t \boldsymbol{g}_t \odot \boldsymbol{g}_t g t ⊙ g t
G t ← β 2 G t − 1 + ( 1 − β 2 ) g t ⊙ g t \boldsymbol{G}_t \leftarrow \beta_2 \boldsymbol{G}_{t-1} + (1 - \beta_2) \boldsymbol{g}_t \odot \boldsymbol{g}_t
G t ← β 2 G t − 1 + ( 1 − β 2 ) g t ⊙ g t
由于我们将 v 0 \boldsymbol{v}_0 v 0 G 0 \boldsymbol{G}_0 G 0 0 0 0 t t t v t = ( 1 − β 1 ) ∑ i = 1 t β 1 t − i g i \boldsymbol{v}_t = (1-\beta_1) \sum_{i=1}^t \beta_1^{t-i} \boldsymbol{g}_i v t = ( 1 − β 1 ) ∑ i = 1 t β 1 t − i g i g t g_t g t ( 1 − β 1 ) ∑ i = 1 t β 1 t − i = 1 − β 1 t (1-\beta_1) \sum_{i=1}^t \beta_1^{t-i} = 1 - \beta_1^t ( 1 − β 1 ) ∑ i = 1 t β 1 t − i = 1 − β 1 t t t t β 1 = 0.9 \beta_1 = 0.9 β 1 = 0.9 v 1 = 0.1 g 1 \boldsymbol{v}_1 = 0.1\boldsymbol{g}_1 v 1 = 0.1 g 1 t t t v t \boldsymbol{v}_t v t 1 − β 1 t 1 - \beta_1^t 1 − β 1 t
在 Adam 算法中，对变量 v t \boldsymbol{v}_t v t G t \boldsymbol{G}_t G t
v ^ t ← v t 1 − β 1 t G ^ t ← G t 1 − β 2 t \begin{equation}
\begin{aligned}
\hat{\boldsymbol{v}}_t &\leftarrow \frac{\boldsymbol{v}_t}{1 - \beta_1^t}\\\\
\hat{\boldsymbol{G}}_t &\leftarrow \frac{\boldsymbol{G}_t}{1 - \beta_2^t}
\end{aligned}
\end{equation}
v ^ t G ^ t ← 1 − β 1 t v t ← 1 − β 2 t G t
接下来， Adam 算法使用以上偏差修正后的变量 v ^ t \hat{\boldsymbol{v}}_t v ^ t G ^ t \hat{\boldsymbol{G}}_t G ^ t
g t ′ ← η G ^ t + ϵ v ^ t \boldsymbol{g}_t' \leftarrow \frac{\eta }{\sqrt{\hat{\boldsymbol{G}}_t + \epsilon}}\hat{\boldsymbol{v}}_t
g t ′ ← G ^ t + ϵ η v ^ t
其中 η \eta η ϵ \epsilon ϵ 1 0 − 8 10^{-8} 1 0 − 8 g t ′ \boldsymbol{g}_t' g t ′
θ t ← θ t − 1 − g t ′ . \boldsymbol{\theta}_t \leftarrow \boldsymbol{\theta}_{t-1} - \boldsymbol{g}_t'.
θ t ← θ t − 1 − g t ′ .
Adam 中引入了一阶动量估计，同时相比于缺少修正因子导致二阶矩估计可能在训练初期具有很高偏置的 RMSProp ， Adam 包括了对一阶和二阶动量的偏置修正。
Adam 算法策略可以表示为：
v t = β 1 v t − 1 + ( 1 − β 1 ) g t G t = β 2 G t − 1 + ( 1 − β 2 ) g t ⊙ g t v ^ t = v t 1 − β 1 t G ^ t = G t 1 − β 2 t g t ′ = η G ^ t + ϵ v ^ t θ t = θ t − 1 − g t ′ . \begin{equation}
\begin{aligned}
\boldsymbol{v}_t &= \beta_1 \boldsymbol{v}_{t-1} + (1 - \beta_1) \boldsymbol{g}_t\\\\
\boldsymbol{G}_t &= \beta_2 \boldsymbol{G}_{t-1} + (1 - \beta_2) \boldsymbol{g}_t \odot \boldsymbol{g}_t\\\\
\hat{\boldsymbol{v}}_t &= \frac{\boldsymbol{v}_t}{1 - \beta_1^t}\\\\
\hat{\boldsymbol{G}}_t &= \frac{\boldsymbol{G}_t}{1 - \beta_2^t}\\\\
\boldsymbol{g}_t' &= \frac{\eta }{\sqrt{\hat{\boldsymbol{G}}_t + \epsilon}}\hat{\boldsymbol{v}}_t\\\\
\boldsymbol{\theta}_t &= \boldsymbol{\theta}_{t-1} - \boldsymbol{g}_t'.
\end{aligned}
\end{equation}
v t G t v ^ t G ^ t g t ′ θ t = β 1 v t − 1 + ( 1 − β 1 ) g t = β 2 G t − 1 + ( 1 − β 2 ) g t ⊙ g t = 1 − β 1 t v t = 1 − β 2 t G t = G ^ t + ϵ η v ^ t = θ t − 1 − g t ′ .
其中， G G G v v v β 1 , β 2 \beta_1, \beta_2 β 1 , β 2 G ^ t , v ^ t \hat{G}_t, \hat{v}_t G ^ t , v ^ t θ t \theta_t θ t t t t t t t g t g_t%3D%CE%94J%28W_t%29) g t t t t J J J θ \theta θ ϵ \epsilon ϵ 1 0 − 8 10^{-8} 1 0 − 8
Adam 方法和 RMSProp、AdaDelta 很像，但是引入了平滑版的一阶动量 v v v g g g
