Diferenciação de Entropia Cruzada

Eu tenho tentado criar um programa para treinar redes neurais no meu computador. Para a rede em questão, decidi usar a função Erro de entropia cruzada:

E = - \sum_{j} t_{j} \ln o_{j}

$E = -\sum_jt_j\ln o_j$

Onde é a saída alvo do neurônio e é a saída desse neurônio, tentando prever . $t_j$ $j$ $o_j$ $t_j$

Eu quero saber o que é para alguns neurônios . Minha intuição (mais meu conhecimento limitado de cálculo) me leva a acreditar que esse valor deve ser . $\frac{\delta E}{\delta o_j}$ $j$ $-\frac{t_j}{o_j}$

No entanto, isso não parece estar correto. A entropia cruzada é freqüentemente usada em conjunto com a função softmax, de modo que que z é o conjunto de entradas para todos os neurônios na camada softmax ( veja aqui )

o_{j} = \frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}

$o_j = \frac{e^{z_j}}{\sum_ke^{z_k}}$

A partir deste arquivo , entendo que:

\frac{δ o_{j}}{δ z_{j}} = o_{j} (1 - o_{j})

$\frac{\delta o_j}{\delta z_j} = o_j(1 - o_j)$

De acordo com esta pergunta : Mas isso entra em conflito com o meu palpite anterior de . Por quê?

\frac{δ E}{δ z_{j}} = t_{j} - o_{j}

$\frac{\delta E}{\delta z_j} = t_j - o_j$

\frac{δ E}{δ o_{j}}

$\frac{\delta E}{\delta o_j}$

\frac{δ E_{j}}{δ z_{j}} = \frac{δ E_{j}}{δ o_{j}} \frac{δ o_{j}}{δ z_{j}}

$\frac{\delta E_j}{\delta z_j}=\frac{\delta E_j}{\delta o_j}\frac{\delta o_j}{\delta z_j}$

\Rightarrow \frac{δ E_{j}}{δ o_{j}} = \frac{δ E_{j}}{δ z_{j}} \div \frac{δ o_{j}}{δ z_{j}}

$\Rightarrow\frac{\delta E_j}{\delta o_j}=\frac{\delta E_j}{\delta z_j}\div\frac{\delta o_j}{\delta z_j}$

= \frac{t_{j} - o_{j}}{o_{j} (1 - o_{j})}

$= \frac{t_j-o_j}{o_j(1-o_j)}$ em contradição direta com a anterior solução de Então, qual (se houver) solução para está correta e por quê?

- \frac{t_{j}}{o_{j}}

$-\frac{t_j}{o_j}$

\frac{δ E_{j}}{δ o_{j}}

$\frac{\delta E_j}{\delta o_j}$

— Geno Racklin Asher
fonte

Seu está correto, mas deve ser quando , usando os resultados apresentados na publicação, temos quando portanto o somatório é $\frac{\partial E}{\partial o_j}$ $\frac{\partial E}{\partial z_j}$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}$

i = j

$i=j$

\frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} = - \frac{t_{j}}{o_{j}} o_{j} (1 - o_{j}) = t_{j} o_{j} - t_{j}

$\frac{\partial E}{\partial o_j}\frac{\partial o_j}{\partial z_j}=-\frac{t_j}{o_j}o_j(1-o_j)=t_jo_j-t_j$

i \neq j

$i\neq j$

\frac{\partial o_{i}}{\partial z_{j}} = \frac{\partial \frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}}{\partial z_{j}} = - \frac{e^{z_{i}}}{(\sum_{k} e^{z_{k}})^{2}} e^{z_{j}} = - o_{i} o_{j}

$\frac{\partial o_i}{\partial z_j}=\frac{\partial \frac{e^{z_i}}{\sum_ke^{z_k}}}{\partial z_j}=-\frac{e^{z_i}}{(\sum_ke^{z_k})^2}e^{z_j}=-o_io_j$

\frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = - \frac{t_{i}}{o_{i}} (- o_{i} o_{j}) = t_{i} o_{j}

$\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=-\frac{t_i}{o_i}(-o_io_j)=t_io_j$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}} = \sum_{i} t_{i} o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=\sum_it_io_j-t_j$ pois é um vetor quente, portanto, também vêem esta pergunta .

t

$t$

\sum_{i} t_{i} = 1

$\sum_it_i=1$

\frac{\partial E}{\partial z_{j}} = o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=o_j-t_j$

— dontloo
fonte