Compreendendo a matemática do AdaGrad e AdaDelta

Eu tenho construído alguns modelos para um projeto, mas não consigo entender a matemática dos algoritmos Adagrad e Adadelta.

Entendo como funciona a descida do gradiente de baunilha e escrevi um código para fazê-lo funcionar com êxito.

Ficarei grato se alguém me explicar essas duas coisas ou fornecer algum recurso para entendê-las.

No que diz respeito aos recursos:

• Na minha opinião, ADADELTA: Um método de taxa de aprendizado adaptável (o documento original da ADADELTA) explica (nas seções 1-3) o ADAGRAD e o ADADELTA de uma maneira bastante acessível.
• Eu achei os métodos adaptativos de subgradiente para aprendizado on-line e otimização estocástica menos acessíveis, mas como é o documento original do ADAGRAD, provavelmente vale a pena tentar.
• Uma visão geral dos algoritmos de otimização de descida de gradiente (uma postagem de blog de Sebastian Ruder) também me ajudou a entender o ADAGRAD e o ADADELTA.
  
  

---

Aqui estão algumas citações centrais de ADADELTA: Um método de taxa de aprendizado adaptável , juntamente com alguns exemplos e explicações breves:

ADAGRAD

A regra de atualização para o ADAGRAD é a seguinte:

$$\begin{matrix}\Delta x_{t}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}}g_{t} & & & (5)\end{matrix}$$ Aqui o denominador calcula o $l2$norma de todos os gradientes anteriores em uma base por dimensão e η é uma taxa de aprendizado global compartilhada por todas as dimensões.
Embora exista a taxa de aprendizado global ajustada manualmente, cada dimensão tem sua própria taxa dinâmica.

Ou seja, se os gradientes nas três primeiras etapas são $g_{1}=\left(\begin{gathered}a_{1}\\ b_{1}\\ c_{1} \end{gathered} \right)\,,\,g_{2}=\left(\begin{gathered}a_{2}\\ b_{2}\\ c_{2} \end{gathered} \right)\,,\,g_{3}=\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)$, então:

$$\begin{gathered}\Delta x_{3}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{3}g_{\tau}^{2}}}g_{3}=-\frac{\eta}{\sqrt{\left(\begin{gathered}a_{1}^{2}+a_{2}^{2}+a_{3}^{2}\\ b_{1}^{2}+b_{2}^{2}+b_{3}^{2}\\ c_{1}^{2}+c_{2}^{2}+c_{3}^{2} \end{gathered} \right)}}\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)\\ \downarrow\\ \Delta x_{3}=-\left(\begin{gathered}\frac{\eta}{\sqrt{a_{1}^{2}+a_{2}^{2}+a_{3}^{2}}}a_{3}\\ \frac{\eta}{\sqrt{b_{1}^{2}+b_{2}^{2}+b_{3}^{2}}}b_{3}\\ \frac{\eta}{\sqrt{c_{1}^{2}+c_{2}^{2}+c_{3}^{2}}}c_{3} \end{gathered} \right) \end{gathered}$$ Aqui é mais fácil ver que cada dimensão tem sua própria taxa de aprendizado dinâmico, conforme prometido.

Problemas do ADAGRAD que o ADADELTA tenta combater

A idéia apresentada neste artigo foi derivada do ADAGRAD para aprimorar as duas principais desvantagens do método: 1) a decadência contínua das taxas de aprendizado durante o treinamento e 2) a necessidade de uma taxa de aprendizado global selecionada manualmente.

A segunda desvantagem é bastante auto-explicativa.

Aqui está um exemplo de quando a primeira desvantagem é um problema:
considere um caso em que o valor absoluto de cada componente de$g_2$é muito maior que o valor absoluto do respectivo componente do gradiente em qualquer outra etapa.
Para qualquer$t>2$, sustenta que todos os componentes de $\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}$ é maior que o valor absoluto do respectivo componente de $g_2$. Mas o valor absoluto de cada componente de$g_2$ é muito maior que o valor absoluto do respectivo componente de $g_t$, e entao $\Delta x_t$é muito pequeno.
Além disso, à medida que o algoritmo progride, ele se aproxima do mínimo, diminuindo o gradiente e$\Delta x_t$torna-se cada vez menor.
Assim, pode ser que o algoritmo praticamente pare antes de atingir o mínimo.

ADADELTA

Em vez de considerar todos os gradientes calculados, o ADADELTA considera apenas o último $w$ gradientes.

Desde o armazenamento $w$Como os gradientes quadrados anteriores são ineficientes, nossos métodos implementam esse acúmulo como uma média exponencialmente decadente dos gradientes quadrados. Suponha no momento$t$ essa média atual é $E\left[g^{2}\right]_{t}$ então calculamos:

$$\begin{matrix}E\left[g^{2}\right]_{t}=\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2} & & & (8)\end{matrix}$$ Onde $\rho$é uma constante de decaimento [...]. Como exigimos a raiz quadrada dessa quantidade nas atualizações de parâmetros, isso se torna efetivamente o$\text{RMS}$ dos gradientes quadrados anteriores até o momento $t$: $$\begin{matrix}\text{RMS}\left[g\right]_{t}=\sqrt{E\left[g^{2}\right]_{t}+\epsilon} & & & (9)\end{matrix}$$ onde uma constante $\epsilon$ é adicionado para melhor condição do denominador

($\text{RMS}$significa Root Mean Square .)

Similarmente:

$$E\left[\Delta x^{2}\right]_{t-1}=\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}$$ $$\text{RMS}\left[\Delta x\right]_{t-1}=\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}$$ E finalmente:

[...] aproximado $\Delta x_{t}$ calculando o decaimento exponencial $\text{RMS}$ sobre uma janela de tamanho $w$ dos anteriores $\Delta x$ para dar o método ADADELTA:

$$\begin{matrix}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t} & & & (14)\end{matrix}$$ onde a mesma constante $\epsilon$ é adicionado ao numerador $\text{RMS}$também. Essa constante serve ao propósito de iniciar a primeira iteração em que$\Delta x_{0}=0$e para garantir que o progresso continue sendo feito, mesmo que as atualizações anteriores se tornem pequenas.
[...]
O numerador atua como um termo de aceleração, acumulando gradientes anteriores ao longo de uma janela de tempo [...]

Ou seja, se o gradiente na etapa $r$ é $g_{r}=\left(\begin{gathered}a_{r}\\ b_{r}\\ c_{r} \end{gathered} \right)$ e $\Delta x_{r}=\left(\begin{gathered}i_{r}\\ j_{r}\\ k_{r} \end{gathered} \right)$, então:

$$\begin{gathered}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t}=-\frac{\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}}{\sqrt{E\left[g^{2}\right]_{t}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho\left(\rho E\left[\Delta x^{2}\right]_{t-3}+\left(1-\rho\right)\Delta x_{t-2}^{2}\right)+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho\left(\rho E\left[g^{2}\right]_{t-2}+\left(1-\rho\right)g_{t-1}^{2}\right)+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{2}E\left[\Delta x^{2}\right]_{t-3}+p^{1}\left(1-\rho\right)\Delta x_{t-2}^{2}+p^{0}\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho^{2}E\left[g^{2}\right]_{t-2}+p^{1}\left(1-\rho\right)g_{t-1}^{2}+p^{0}\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{t-1}E\left[\Delta x^{2}\right]_{0}+\overset{t-1}{\underset{r=1}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\rho^{t-1}E\left[g^{2}\right]_{1}+\overset{t}{\underset{r=2}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t} \end{gathered}$$

$\rho$ é uma constante de decaimento, então escolhemos de tal forma que $\rho\in\left(0,1\right)$ (tipicamente $\rho\ge0.9$)
Portanto, multiplicando por um alto poder de$\rho$resulta em um número muito pequeno.
Deixei$w$ seja o expoente mais baixo, de modo que consideremos o produto da multiplicação de valores sãos por $\rho^w$insignificante.
Agora, podemos aproximar$\Delta x_{t}$ eliminando termos insignificantes:

$$\begin{gathered}\Delta x_{t}\approx-\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\left(\begin{gathered}i_{r}^{2}\\ j_{r}^{2}\\ k_{r}^{2} \end{gathered} \right)+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)\left(\begin{gathered}a_{r}^{2}\\ b_{r}^{2}\\ c_{r}^{2} \end{gathered} \right)+\epsilon}}\left(\begin{gathered}a_{t}\\ b_{t}\\ c_{t} \end{gathered} \right)\\ \downarrow\\ \Delta x_{t}\approx-\left(\begin{gathered}\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)i_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)a_{r}^{2}+\epsilon}}a_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)j_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)b_{r}^{2}+\epsilon}}b_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)k_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)c_{r}^{2}+\epsilon}}c_{t} \end{gathered} \right) \end{gathered}$$

No quora, você encontrará um guia mais completo, mas as principais idéias são que o AdaGrad tenta marcar esses problemas na seleção da taxa de aprendizado por gradiente no aprendizado de máquina:

1 Seleção manual da taxa de aprendizado η.

2 O vetor gradiente gt é escalado uniformemente por uma taxa de aprendizado escalar η.

3 A taxa de aprendizado η permanece constante durante todo o processo de aprendizado.

Ele resolve as preocupações 2 e 3 simplesmente dividindo cada componente de gradiente atual por uma norma L2 de gradientes observados no passado para esse componente em particular.

Possui em si os seguintes problemas:

1 Taxa de aprendizado em decadência contínua η.

2 Seleção manual da taxa de aprendizado η.

O AdaDelta resolve a preocupação 1 do AdaGrad somando os gradientes apenas dentro de uma determinada janela W.

A solução Concern 2 refere-se à incompatibilidade em unidades de gradiente e, portanto,

o processo de acumulação real é implementado usando um conceito de momento.

O último cálculo precisa ser entendido sobre a teoria do momento e logo foi explicado no artigo.

Minha idéia era fornecer as principais causas por trás do que se pretendia, talvez isso facilite a leitura.