Derivando o gradiente de uma rede neural de camada única com suas entradas, qual é o operador na regra da cadeia?

O problema é:

Derive o gradiente em relação à camada de entrada para uma rede neural de camada única oculta usando sigmoid para entrada -> oculta, softmax para oculta -> saída, com perda de entropia cruzada.

Eu posso passar a maior parte da derivação usando a regra de cadeia, mas não tenho certeza de como realmente "encadear" elas.

Definir algumas notações

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , é função sigmóide$\sigma$

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , é a função softmax$S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , é um vetor quente de rótulo real$y$

Então, pela regra da cadeia,

$$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$$

Os gradientes individuais são:

$$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$$ $$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$$ $$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$$ $$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$$

Agora temos que encadear as definições. Na variável única, isso é fácil, apenas multiplicamos tudo juntos. Nos vetores, não tenho certeza se usaremos a multiplicação por elementos ou por matriz.

$$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$$

Onde é a multiplicação de vetores por elementos e é uma multiplicação de matrizes. Essa combinação de operações é a única maneira em que eu consigo las para obter um vetor de dimensão , que eu sei que deve ser.$\cdot$$*$$1 \cdot D_x$$\frac{\partial J}{\partial \boldsymbol{x}}$

Minha pergunta é: qual é a maneira correta de descobrir qual operador usar? Estou especificamente confuso com a necessidade do elemento entre e .$W_2^T$$h$

Obrigado!

Acredito que a chave para responder a essa pergunta é apontar que a multiplicação por elementos é realmente uma abreviação e, portanto, quando você deriva das equações, nunca a usa realmente.

A operação real não é uma multiplicação por elementos, mas uma multiplicação por matriz padrão de um gradiente com um jacobiano , sempre .

No caso da não linearidade, o jacobiano da saída do vetor da não linearidade em relação à entrada do vetor da não linearidade passa a ser uma matriz diagonal. Portanto, é verdade que o gradiente multiplicado por essa matriz é equivalente ao gradiente da saída da não linearidade em relação ao elemento de perda multiplicado por um vetor que contém todas as derivadas parciais da não linearidade em relação à entrada da não linearidade, mas isso decorre do jacobiano ser diagonal. Você deve passar pelo passo jacobiano para chegar à multiplicação por elementos, o que pode explicar sua confusão.

Em matemática, temos algumas não linearidades , uma perda e uma entrada para a não linearidade (pode ser qualquer tensor). A saída da não linearidade tem a mesma dimensão --- como @Logan diz, a função de ativação é definida como elemento.$s$$L$$x \in \mathbb{R}^{n \times 1}$$s(x) \in \mathbb{R}^{n \times 1}$

Queremos

$$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$$

Onde é o jacobiano de . Expandindo esse jacobiano, obtemos $\dfrac{\partial s(x)}{\partial x}$$s$

$$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$$

Vemos que está em todo lugar zero, exceto na diagonal. Podemos criar um vetor de todos os seus elementos diagonais

$$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$$

E então use o operador elemento a elemento.

$$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$$

Sempre que houver uma proporção proporcional a uma função de ativação, as operações tornam-se elementos. Especificamente, usando o seu exemplo, é um derivado de retropropagação e é um derivado de ativação, e seu produto é um elemento elementar, . Isso ocorre porque as funções de ativação são definidas como operações entre elementos na rede neural.$\delta_2 =(\hat{y}-y)W_2^T$$a' = h \circ (1 -h)$$\delta_2 \circ a'$

Consulte os slides da palestra do cs224d página 30, também pode ajudar.