Exemplo passo a passo da diferenciação automática no modo reverso

Não tenho certeza se essa pergunta pertence aqui, mas está intimamente relacionada aos métodos de gradiente na otimização, que parecem estar no tópico aqui. De qualquer forma, sinta-se à vontade para migrar se você achar que alguma outra comunidade possui uma melhor experiência no tópico.

Em resumo, estou procurando um exemplo passo a passo da diferenciação automática no modo reverso . Não há muita literatura sobre o assunto e a implementação existente (como a do TensorFlow ) é difícil de entender sem conhecer a teoria por trás disso. Assim, eu ficaria muito grato se alguém pudesse mostrar em detalhes o que passar , como podemos processá-lo e o que tirar do gráfico computacional.

Algumas perguntas com as quais tenho mais dificuldade:

sementes - por que precisamos delas?
regras de diferenciação reversa - eu sei como fazer diferenciação para a frente, mas como vamos para trás? Por exemplo, no exemplo desta seção , como sabemos que ? $\bar{w_2}=\bar{w_3}w_1$
trabalhamos apenas com símbolos ou passamos por valores reais ? Por exemplo , no mesmo exemplo , são os símbolos ou valores e ? $w_i$ $\bar{w_i}$

— amiga
fonte

"Aprendizado prático da máquina com o Scikit-Learn e o TensorFlow" O apêndice D fornece uma explicação muito boa na minha opinião. Eu recomendo.

— Agustin Barrachina 18/07

Digamos que temos a expressão e queremos encontrar derivadas e . O AD de modo reverso divide essa tarefa em 2 partes, a saber, passes para frente e para trás. $z = x_1x_2 + \sin(x_1)$ $\frac{dz}{dx_1}$ $\frac{dz}{dx_2}$

Passar para a frente

Primeiro, decompomos nossa expressão complexa em um conjunto de expressões primitivas, ou seja, expressões que consistem em, no máximo, uma chamada de função. Observe que eu também renomeio variáveis de entrada e saída para obter consistência, embora não seja necessário:

w_{1} = x_{1}

$w_1 = x_1$

w_{2} = x_{2}

$w_2 = x_2$

w_{3} = w_{1} w_{2}

$w_3 = w_1w_2$

w_{4} = \sin (w_{1})

$w_4 = \sin(w_1)$

w_{5} = w_{3} + w_{4}

$w_5 = w_3 + w_4$

z = w_{5}

$z = w_5$

A vantagem dessa representação é que as regras de diferenciação para cada expressão separada já são conhecidas. Por exemplo, sabemos que a derivada de é e, portanto, . Usaremos esse fato no passe inverso abaixo. $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

Essencialmente, o encaminhamento consiste em avaliar cada uma dessas expressões e salvar os resultados. Digamos, nossas entradas são: e . Então nós temos: $x_1 = 2$ $x_2 = 3$

w_{1} = x_{1} = 2

$w_1 = x_1 = 2$

w_{2} = x_{2} = 3

$w_2 = x_2 = 3$

w_{3} = w_{1} w_{2} = 6

$w_3 = w_1w_2 = 6$

w_{4} = \sin (w_{1}) = 0.9

$w_4 = \sin(w_1) ~= 0.9$

w_{5} = w_{3} + w_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = w_{5} = 6.9

$z = w_5 = 6.9$

Passagem reversa

Aqui é onde a mágica começa, e começa com a regra da cadeia . Em sua forma básica, a regra da cadeia declara que, se você tiver a variável que depende de que, por sua vez, depende de , então: $t(u(v))$ $u$ $v$

\frac{d t}{d v} = \frac{d t}{d u} \frac{d u}{d v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

ou, se depende de através de vários caminhos / variáveis , por exemplo: $t$ $v$ $u_i$

u_{1} = f (v)

$u_1 = f(v)$

u_{2} = g (v)

$u_2 = g(v)$

t = h (u_{1}, u_{2})

$t = h(u_1, u_2)$

então (veja a prova aqui ):

\frac{d t}{d v} = \sum_{i} \frac{d t}{d u_{i}} \frac{d u_{i}}{d v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

Em termos de gráfico de expressão, se temos um nó final e nós de entrada , e o caminho de para passa pelos nós intermediários (ou seja, onde ), podemos encontrar derivativos como $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{d z}{d w_{i}} = \sum_{p \in p a r e n t s (i)} \frac{d z}{d w_{p}} \frac{d w_{p}}{d w_{i}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

Em outras palavras, para calcular a derivada da variável de saída qualquer variável intermediária ou de entrada , precisamos apenas conhecer as derivadas de seus pais e a fórmula para calcular a derivada da expressão primitiva . $z$ $w_i$ $w_p = f(w_i)$

A passagem reversa começa no final (ou seja, ) e se propaga para trás para todas as dependências. Aqui temos (expressão para "semente"): $\frac{dz}{dz}$

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

Isso pode ser lido como "mudança em resulta exatamente na mesma mudança em ", o que é bastante óbvio. $z$ $z$

Então sabemos que e assim: $z = w_5$

\frac{d z}{d w_{5}} = 1

$\frac{dz}{dw_5} = 1$

$w_5$ depende linearmente de e , então e . Usando a regra da cadeia, encontramos: $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{d z}{d w_{3}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{3}} = 1 \times 1 = 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{d z}{d w_{4}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{4}} = 1 \times 1 = 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

A partir da definição e das regras de derivadas parciais, descobrimos que . Portanto: $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d z}{d w_{2}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{2}} = 1 \times w_{1} = w_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

Que, como já sabemos do passe para frente, é:

\frac{d z}{d w_{2}} = w_{1} = 2

$\frac{dz}{dw_2} = w_1 = 2$

Finalmente, contribui para via e . Mais uma vez, pelas regras das derivadas parciais, sabemos que e . Portanto: $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{d z}{d w_{1}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{1}} + \frac{d z}{d w_{4}} \frac{d w_{4}}{d w_{1}} = w_{2} + \cos (w_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

E, novamente, dadas as entradas conhecidas, podemos calculá-lo:

\frac{d z}{d w_{1}} = w_{2} + \cos (w_{1}) = 3 + \cos (2) = 2.58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

Como e são apenas aliases para e , obtemos nossa resposta: $w_1$ $w_2$ $x_1$ $x_2$

\frac{d z}{d x_{1}} = 2.58

$\frac{dz}{dx_1} = 2.58$

\frac{d z}{d x_{2}} = 2

$\frac{dz}{dx_2} = 2$

E é isso!

Esta descrição refere-se apenas a entradas escalares, ou seja, números, mas na verdade também pode ser aplicada a matrizes multidimensionais, como vetores e matrizes. Duas coisas que devemos ter em mente ao diferenciar expressões com esses objetos:

Os derivados podem ter uma dimensionalidade muito maior do que as entradas ou saídas, por exemplo, derivada do vetor wrt vetor é uma matriz e derivada da matriz wrt é uma matriz quadridimensional (às vezes chamada de tensor). Em muitos casos, esses derivados são muito escassos.
Cada componente na matriz de saída é uma função independente de 1 ou mais componentes da (s) matriz (s) de entrada. Por exemplo, se e ambos e são vectores, não depende , mas apenas no subconjunto de . Em particular, isso significa que encontrar a derivada resume a rastrear como depende de . $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

O poder da diferenciação automática é que ele pode lidar com estruturas complicadas de linguagens de programação como condições e loops. No entanto, se tudo o que você precisa são expressões algébricas e você possui uma estrutura boa o suficiente para trabalhar com representações simbólicas, é possível construir expressões totalmente simbólicas. De fato, neste exemplo, podemos produzir a expressão e calcular essa derivada para quaisquer entradas que desejemos. $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

— amiga
fonte

Pergunta / resposta muito útil. Obrigado. Apenas uma crítica litte: você parece mover-se sobre uma estrutura de árvore sem explicar (que é quando você começar a falar sobre os pais, etc ..)

— MadHatter

Também não vai doer esclarecer por que precisamos de sementes.

— MadHatter 28/05

@ MadHatter obrigado pelo comentário. Tentei reformular alguns parágrafos (estes que se referem aos pais) para enfatizar uma estrutura gráfica. Também adicionei "seed" ao texto, embora esse nome em si possa ser enganador na minha opinião: no AD seed sempre há uma expressão fixa - , não algo que você possa escolher ou gerar.

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

— Ffriend

Obrigado! Notei que quando você precisa definir mais de uma "semente", geralmente escolhe 1 e 0. Gostaria de saber o porquê. Quero dizer, toma-se o "quociente" de um diferencial diferenciado, de modo que "1" é pelo menos intuitivamente justificado. Mas e quanto a 0? E se for preciso colher mais de 2 sementes?

— MadHatter 30/05

Tanto quanto eu entendo, mais de uma semente é usada apenas no AD de modo avançado. Nesse caso, você define a semente como 1 para uma variável de entrada que deseja diferenciar em relação a e define a semente como 0 para todas as outras variáveis de entrada, para que elas não contribuam para o valor de saída. No modo reverso, você define a semente como uma variável de saída e normalmente possui apenas uma variável de saída. Eu acho que você pode construir um pipeline de AD de modo reverso com várias variáveis de saída e definir todas elas, exceto uma para 0, para obter o mesmo efeito que no modo de avanço, mas nunca investiguei essa opção.

— Ffriend