Derivada do Softmax em relação aos pesos

Eu sou novo no aprendizado profundo e estou tentando calcular a derivada da seguinte função em relação à matriz : $\mathbf w$

p (a) = \frac{e^{w_{a}^{⊤} x}}{Σ_{d} e^{w_{d}^{⊤} x}}

$p(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}}$

Usando a regra do quociente, recebo:

\frac{\partial p (a)}{\partial w} = \frac{x e^{w_{a}^{⊤} x} Σ_{d} e^{w_{d}^{⊤} x} - e^{w_{a}^{⊤} x} Σ_{d} x e^{w_{d}^{⊤} x}}{[Σ_{d} e^{w_{d}^{⊤} x}]^{2}} = 0

$\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = 0$

Acredito que estou fazendo algo errado, uma vez que a função softmax é comumente usada como uma função de ativação no aprendizado profundo (e, portanto, nem sempre pode ter uma derivada de ). Analisei questões semelhantes , mas elas parecem encobrir essa parte do cálculo. $0$

Agradeço qualquer indicação na direção certa.

— 李成震
fonte

Sua notação realmente não funciona, talvez porque você não tenha explicado o que é " " ou quais podem ser as dimensões de . Isso parece estar no centro do seu problema, porque você parece tratar como um número, mas isso não faz sentido.

x

$x$

w

$\mathbf{w}$

x

$x$

— whuber

A última camada oculta produz valores de saída formando um vetor . A camada neuronal de saída destina-se a classificar entre as categorias com uma função de ativação SoftMax atribuindo probabilidades condicionais (dadas ) a cada uma das categoriasEm cada nó na camada final (ou saída), os valores pré-ativados (valores de logit) consistirão nos produtos escalares , em que . Em outras palavras, cada categoria, $\vec x = \mathbf x$ $K=1,\dots,k$ $\mathbf x$ $K$ $\mathbf{w}_j^\top\mathbf{x}$ $\mathbf w_j\in\{\mathbf{w}_1, \mathbf{w}_2,\dots,\mathbf{w}_k\}$ $k$ terá um vetor diferente de pesos apontando para ele, determinando a contribuição de cada elemento na saída da camada anterior (incluindo um viés), encapsulado em . Entretanto, a ativação dessa camada final não ocorrerá em elementos (como por exemplo, com uma função sigmóide em cada neurônio), mas através da aplicação de uma função SoftMax, que mapeará um vetor em para um vetor de elementos em [0,1]. Aqui está um NN inventado para classificar as cores: $\mathbf x$ $\mathbb R^k$ $K$

Definindo o softmax como

σ (j) = \frac{\exp (w_{j}^{⊤} x)}{\sum_{k = 1}^{K} \exp (w_{k}^{⊤} x)} = \frac{\exp (z_{j})}{\sum_{k = 1}^{K} \exp (z_{k})}

$\sigma(j)=\frac{\exp(\mathbf{w}_j^\top \mathbf x)}{\sum_{k=1}^K \exp(\mathbf{w}_k^\top\mathbf x)}=\frac{\exp(z_j)}{\sum_{k=1}^K \exp(z_k)}$

Queremos obter a derivada parcial em relação a um vetor de pesos , mas podemos primeiro obter a derivada de em relação ao logit, ou seja, : $(\mathbf w_i)$ $\sigma(j)$ $z_i = \mathbf w_i^\top \cdot \mathbf x$

\begin{aligned} \frac{\partial}{\partial (w_{i}^{⊤} x)} σ (j) & = \frac{\partial}{\partial (w_{i}^{⊤} x)} \frac{\exp (w_{j}^{⊤} x)}{\sum_{k = 1}^{K} \exp (w_{k}^{⊤} x)} \\ \underset{*}{=} \frac{\frac{\partial}{\partial (w_{i} ⊤ x)} \exp (w_{j}^{⊤} x)}{\sum_{k = 1}^{K} \exp (w_{k}^{⊤} x)} - \frac{\exp (w_{j}^{⊤} x)}{{(\sum_{k = 1}^{K} \exp (w_{k}^{⊤} x))}^{2}} \frac{\partial}{\partial (w_{i}^{⊤} x)} \sum_{k = 1}^{K} \exp (w_{k}^{⊤} x) \\ = \frac{δ_{i j} \exp (w_{j}^{⊤} x)}{\sum_{k = 1}^{K} \exp (w_{k}^{⊤} x)} - \frac{\exp (w_{j}^{⊤} x)}{\sum_{k = 1}^{K} \exp (w_{k}^{⊤} x)} \frac{\exp (w_{i}^{⊤} x)}{\sum_{k = 1}^{K} \exp (w_{k}^{⊤} x)} \\ = σ (j) (δ_{i j} - σ (i)) \end{aligned}

$\begin{align} \small{\frac{\partial}{\partial( \mathbf{w}_i^\top \mathbf x)}}\sigma(j) &= \small{\frac{\partial}{\partial \left(\mathbf{w}_i^\top \mathbf x\right)}}\;\frac{\exp(\mathbf{w}_j^\top \mathbf x)}{\sum_{k=1}^K \exp(\mathbf{w}_k^\top\mathbf x)} \\[2ex] &\underset{*}{=} \frac{\frac{\partial}{\partial (\mathbf{w_i\top \mathbf x)}}\,\exp(\mathbf{w}_j^\top \mathbf x)}{\sum_{k=1}^K \exp(\mathbf{w}_k^\top\mathbf x)}\,-\,\frac{\exp(\mathbf w_j^\top \mathbf x)}{\left(\sum_{k=1}^K \exp(\mathbf{w}_k^\top\mathbf x) \right)^2}\quad\small{{\frac{\partial}{\partial \left(\mathbf w_i^\top\mathbf x\right)}}}\,\sum_{k=1}^K \exp(\mathbf{w}_k^\top\mathbf x)\\[2ex] &= \frac{\delta_{ij}\exp(\mathbf{w}_j^\top \mathbf x)}{\sum_{k=1}^K \exp(\mathbf{w}_k^\top\mathbf x)}\,-\,\frac{\exp(\mathbf w_j^\top \mathbf x)}{ \sum_{k=1}^K \exp\left(\mathbf{w}_k^\top\mathbf x \right)} \frac{\exp(\mathbf{w}_i^\top\mathbf x)}{\sum_{k=1}^K \exp\left(\mathbf{w}_k^\top\mathbf x \right)} \\[3ex] &=\sigma(j)\left(\delta_{ij}-\sigma(i)\right) \end{align}$

$* \text{- quotient rule}$

Obrigado e (+1) a Yuntai Kyong por apontar que havia um índice esquecido na versão anterior do post, e as alterações no denominador do softmax foram deixadas de fora da seguinte regra da cadeia ...

Pela regra da cadeia,

\begin{aligned} \frac{\partial}{\partial w_{i}} σ (j) & = \sum_{k = 1}^{K} \frac{\partial}{\partial (w_{k}^{⊤} x)} σ (j) \frac{\partial}{\partial w_{i}} w_{k}^{⊤} x \\ = \sum_{k = 1}^{K} \frac{\partial}{\partial (w_{k}^{⊤} x)} σ (j) δ_{i k} x \\ = \sum_{k = 1}^{K} σ (j) (δ_{k j} - σ (k)) δ_{i k} x \end{aligned}

$\begin{align}\frac{\partial}{\partial \mathbf{w}_i}\sigma(j)&= \sum_{k = 1}^K \frac{\partial}{\partial (\mathbf{w}_k^\top \mathbf x)}\sigma(j)\quad \frac{\partial}{\partial\mathbf{w}_i}\mathbf{w}_k^\top \mathbf{x}\\[2ex] &=\sum_{k = 1}^K \frac{\partial}{\partial (\mathbf{w}_k^\top \mathbf x)}\;\sigma(j)\quad \delta_{ik} \mathbf{x}\\[2ex] &=\sum_{k = 1}^K\sigma(j)\left(\delta_{kj}-\sigma(k)\right)\quad \delta_{ik} \mathbf{x} \end{align}$

Combinando este resultado com a equação anterior:

\frac{\partial}{\partial w_{i}} σ (j) = σ (j) (δ_{i j} - σ (i)) x

$\bbox[8px, border: 2px solid lime]{\frac{\partial}{\partial \mathbf{w}_i}\sigma(j)=\sigma(j)\left(\delta_{ij}-\sigma(i)\right)\mathbf x}$

— Antoni Parellada
fonte

1. Bela figura, mas a explicação é confusa. "A última camada oculta produz valores de saída formando um vetor x⃗ = x." Mas x a entrada e não a saída? 2. "a ativação desta camada final não ocorrerá em elementos": isso é útil, mas algumas informações sobre o uso da função exponencial serão úteis.

— Coder.in.me 7/10/19

Eu tenho um resultado diferente. Além disso, depende de dentro do denominador do softmax, portanto, não tenha certeza se o resultado de Antoni está correto. $\sigma(j)$ $\mathbf{w}_i$

\begin{aligned} \frac{\partial}{\partial w_{i}} σ (j) & = \sum_{k} \frac{\partial}{\partial (w_{k}^{⊤} x)} σ (j) \frac{\partial}{\partial w_{i}} w_{k}^{⊤} x \\ = \sum_{k} \frac{\partial}{\partial (w_{k}^{⊤} x)} σ (j) δ_{i k} x \\ = \sum_{k} σ (j) (δ_{j k} - σ (k)) δ_{i k} x \\ = σ (j) (δ_{i j} - σ (i)) x \end{aligned}

$\begin{align}\frac{\partial}{\partial \mathbf{w}_i}\sigma(j)&= \sum_k\frac{\partial}{\partial (\mathbf{w}_k^\top \mathbf x)}\;\sigma(j)\; \frac{\partial}{\partial\mathbf{w}_i}\mathbf{w}_k^\top \mathbf{x}\\[2ex] &= \sum_k \frac{\partial}{\partial (\mathbf{w}_k^\top \mathbf x)}\;\sigma(j)\; \delta_{ik} \mathbf{x}\\[2ex] &= \sum_k \sigma(j)\left(\delta_{jk}-\sigma(k)\right)\delta_{ik} \mathbf{x}\\[2ex] &= \sigma(j)\left(\delta_{ij}-\sigma(i)\right) \mathbf{x} \end{align}$

— Yuntai Kyong
fonte