O que é o normalizador de log de gradiente?

No wiki, a função softmax é definida como o normalizador-log-gradiente da distribuição de probabilidade categórica . Uma explicação parcial para o normalizador de log é encontrada aqui , mas o que significa o normalizador de gradiente de log ?

Usando a notação da página da wikipedia ( https://en.wikipedia.org/wiki/Exponential_family ), uma família exponencial é uma família de distribuições de probabilidade que possuem pmfs / pdfs que podem ser escritos como (observando que , pode ser vetor valorizado): onde são os parâmetros naturais, são estatísticas suficientes e é o normalizador de log (às vezes chamado de função de partição de log). O motivo é chamado de normalizador de log, pois pode ser verificado que, no caso contínuo, para que este seja um pdf válido, devemos ter x f θ ( x ) = h ( x ) exp [ η ( θ ) T t ( x ) - A ( θ ) ] η ( θ ) = η t ( x ) A ( θ ) A ( θ ) A ( θ) ) = log [ ∫ h ( x ) exp $\theta$$x$

$$f_{\theta}(x)=h(x)\exp[\eta(\theta)^Tt(x)-A(\theta)]$$ $\eta(\theta)=\eta$$t(x)$$A(\theta)$$A(\theta)$ $$A(\theta)=\log\left[\int h(x)\exp[\eta(\theta)^Tt(x)]dx\right],$$ e no caso discreto, para que este seja um pmf válido , devemos ter Em cada caso, notamos que e são as constantes de normalização das distribuições, daí o nome log normalizer.∫ h ( x ) exp [ η ( θ ) T t ( x ) ] d x ∑ x h ( x ) exp [ η ( θ ) T $$A(\theta)=\log\left[\sum_x h(x)\exp[\eta(\theta)^Tt(x)]\right].$$ $\int h(x)\exp[\eta(\theta)^Tt(x)]dx$$\sum_x h(x)\exp[\eta(\theta)^Tt(x)]$

Agora, para ver a relação específica entre a função softmax e a distribuição categórica dimensional , teremos que usar uma parametrização específica da distribuição. Ou seja, seja tal que e e defina (deixando ). O pmf para esta distribuição é (deixando ser um vetor quente, ou seja, e para ): θ 1 , ⋯ , θ k - 1 0 < θ 1 , ⋯ , θ k - 1 ∑ k - 1 i = 1 θ i < 1 θ k = 1 - ∑ k - 1 i = 1 θ i θ = ( θ 1 , ⋯ , θ k ) x = ( $k$$\theta_1,\cdots,\theta_{k-1}$$0<\theta_1,\cdots,\theta_{k-1}$$\sum_{i=1}^{k-1}\theta_i<1$$\theta_k=1-\sum_{i=1}^{k-1}\theta_i$$\theta=(\theta_1,\cdots,\theta_{k})$x i = 1 x j = 0 i ≠ j f θ ( x ) = k ∏ i = 1 θ x i i . h ( x ) = 1 η ( θ ) = ( log [ θ 1 / θ k ] , ⋯ , log [ θ $x=(x_1,\cdots,x_{k})$$x_i=1$$x_j=0$$i\neq j$

$$f_{\theta}(x)=\prod_{i=1}^k\theta_i^{x_i}.$$ Para escrever isso como uma família exponencial, observe que , , e , portanto: $h(x)=1$t(x)=( x 1 ,⋯, x k )A(θ)=-log[ θ k ] f θ (x)=exp[(log[ θ 1 / θ k ],⋯,logarítmo[ θ k - $\eta(\theta)=(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)$$t(x)=(x_1,\cdots,x_{k})$$A(\theta)=-\log[\theta_k]$ $$f_{\theta}(x)=\exp[(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)^T(x_1,\cdots,x_{k})-(-\log[\theta_k])].$$

Agora vamos escrever sugestivamente , para que possamos escrever . Então o normalizador de log se torna Tomando a derivada parcial em relação a , encontramos revelando que o gradiente do normalizador de log é realmente a função softmax: $\eta(\theta_i)=\log[\theta_i/\theta_k]=\eta_i$$\theta_i=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$

$$A(\eta)=-\log\left[\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right]= -\log\left[\frac{1}{\sum_{j=1}^ke^{\eta_j}}\right]=\log\left[\sum_{j=1}^ke^{\eta_j}\right].$$ $\eta_i$∇Um(η)=[e η $$\frac{\partial}{\partial \eta_i}A(\eta)=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}},$$ $$\nabla A(\eta)=\left[\frac{e^{\eta_1}}{\sum_{j=1}^ke^{\eta_j}},\cdots,\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right].$$