Alguém pode explicar o algoritmo de retropaginação? [duplicado]

O que é o algoritmo de retropropagação e como ele funciona?

O algoritmo de propagação traseira é um algoritmo de descida de gradiente para ajustar um modelo de rede neural. (como mencionado por @Dikran) Deixe-me explicar como.

Formalmente: o uso do cálculo do gradiente no final deste post na equação [1] abaixo (que é uma definição da descida do gradiente) fornece o algoritmo de propagação de retorno como um caso particular do uso de uma descida de gradiente.

Um modelo de rede neural Formalmente, corrigimos idéias com um modelo simples de camada única:

, onde g : R → R e s : R H → R H são conhecidos por todos m = 1 ... , M , s ( x ) [ m ] = σ ( x [ m ] ) e

$$f(x)=g(A^1(s(A^2(x))))$$ $g:\mathbb{R} \rightarrow \mathbb{R}$$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$$m=1\dots,M$$s(x)[m]=\sigma(x[m])$ , A 2 R p → R H funções são desconhecido afins. A função σ : R → R é chamada função de ativação no âmbito da classificação.$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

Uma função de perda quadrática é usada para corrigir idéias. Portanto, os vetores de entrada de R p podem ser ajustados à saída real ( y 1 , … , y n ) de R (poderiam ser vetores) minimizando a perda empírica: R n ( A 1 , A 2 ) = n ∑ i = 1 ( y i - f ( $(x_1,\dots,x_n)$$\mathbb{R}^p$$(y_1,\dots,y_n)$$\mathbb{R}$ no que diz respeito à escolha de A 1 e A 2 .

$$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$$ $A^1$$A^2$

Descida em gradiente Uma descida em grande escala para minimizar é um algoritmo que itera: a l + 1 = a l - γ l ∇ R ( a l ) , l ≥ 0. para tamanhos de passo bem escolhidos ( γ l ) l (também chamado taxa de aprendizado no âmbito da propagação traseira). Ele exige o cálculo do gradiente de R . No caso considerado a l = ( A 1 l , A $\mathcal{R}$

$$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$$ $(\gamma_l)_l$$\mathcal{R}$.$\mathbf{a}_l=(A^1_{l},A^2_{l})$

$\mathcal{R}$$\nabla_1 \mathcal{R}$$\mathcal{R}$$A^1$$\nabla_2\mathcal{R}$$\mathcal{R}$$A^2$$z_i=A^1(s(A^2(x_i)))$

$$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$$ $m=1,\dots,M$ $$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$$

$x[a:b]$$x$$a$$b$

A retropropagação é uma maneira de calcular a derivada da função de erro com relação aos pesos, para que o modelo possa ser treinado por métodos de otimização de descida de gradiente - é basicamente apenas a aplicação da "regra da cadeia". Na verdade, não há muito mais do que isso; portanto, se você se sente confortável com o cálculo, é basicamente a melhor maneira de analisá-lo.

Se você não se sentir confortável com o cálculo, uma maneira melhor seria dizer que sabemos quão mal estão as unidades de saída, porque temos uma saída desejada com a qual comparar a saída real. No entanto, não temos uma saída desejada para as unidades ocultas, então o que fazemos? A regra de retropropagação é basicamente uma maneira de expressar a culpa pelo erro das unidades de saída nas unidades ocultas. Quanto mais influência uma unidade oculta tem sobre uma determinada unidade de saída, mais culpa ela recebe pelo erro. A culpa total associada a uma unidade oculta fornece uma indicação de quanto os pesos da camada de entrada para oculta precisam ser alterados. As duas coisas que governam quanta culpa é passada é o peso que conecta os pesos da camada oculta e da saída (obviamente) e a saída da unidade oculta (se ela estiver gritando ao invés de sussurrar, é provável que tenha uma influência maior). O resto são apenas as sutilezas matemáticas que transformam essa intuição na derivada do critério de treinamento.

Eu também recomendaria o livro dos Bispos para uma resposta adequada! ; o)

É um algoritmo para o treinamento de redes neurais de múltiplas camadas (perceptrons de múltiplas camadas). Existem vários applets Java legais na Web que ilustram o que está acontecendo, como este: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html . Além disso, o livro de Bishop sobre NNs é a referência padrão para qualquer coisa relacionada a NNs.