Perguntas com a marcação «softmax»

Neste https://cs231n.github.io/neural-networks-case-study/, por que ele menciona "o classificador Softmax interpreta todos os elementos de ff como mantendo as probabilidades de log (não normalizadas) das três classes". Entendo por que não é normalizado, mas não por que é log? O que significa uma probabilidade de log? Por que não dizer probabilidades …

9 machine-learning  neural-networks  information-theory  softmax 

No wiki, a função softmax é definida como o normalizador-log-gradiente da distribuição de probabilidade categórica . Uma explicação parcial para o normalizador de log é encontrada aqui , mas o que significa o normalizador de gradiente de log ?

9 softmax 

Esta pergunta segue em stats.stackexchange.com/q/233658 O modelo de regressão logística para as classes {0, 1} é P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Claramente, essas probabilidades somam 1. Ao definir , também …

8 logistic  neural-networks  multinomial-logit  softmax  identifiability 

Estou tentando entender por que a função softmax é definida como tal: ezjΣKk = 1ezk= σ( z)ezjΣk=1Kezk=σ(z)\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z) Entendo como isso normaliza os dados e mapeia corretamente para algum intervalo (0, 1), mas a diferença entre as probabilidades de peso varia exponencialmente e não linearmente. Existe uma razão …

8 probability  neural-networks  softmax 

Eu sou novo no aprendizado profundo e estou tentando calcular a derivada da seguinte função em relação à matriz :ww\mathbf w p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} Usando a regra do quociente, recebo: ∂p(a)∂w=xew⊤axΣdew⊤dx−ew⊤axΣdxew⊤dx[Σdew⊤dx]2=0∂p(a)∂w=xewa⊤xΣdewd⊤x−ewa⊤xΣdxewd⊤x[Σdewd⊤x]2=0\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = 0 …

8 machine-learning  self-study  neural-networks  derivative  softmax