Valor esperado de uma variável aleatória gaussiana transformada com uma função logística

10

Tanto a função logística quanto o desvio padrão são geralmente indicados como . Vou usar e para o desvio padrão. $\sigma$ $\sigma(x) = 1/(1+\exp(-x))$ $s$

Eu tenho um neurônio logístico com uma entrada aleatória cuja média e desvio padrão eu conheço. Espero que a diferença da média possa ser bem aproximada por algum ruído gaussiano. Portanto, com um leve abuso de notação, assuma que produz . Qual é o valor esperado de ? O desvio padrão pode ser grande ou pequeno em comparação com ou . Uma boa aproximação de forma fechada para o valor esperado seria quase tão boa quanto uma solução de forma fechada. $\mu$ $s$ $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ $\sigma(N(\mu,s^2))$ $s$ $\mu$ $1$

Eu não acho que exista uma solução de formulário fechado. Isso pode ser visto como uma convolução, e a função característica da densidade logística é conhecida ( ), mas não tenho certeza de quanto isso ajuda. A calculadora simbólica inversa não conseguiu reconhecer a densidade em da convolução da densidade da distribuição logística e uma distribuição normal padrão, o que sugere, mas não prova que não há integral elementar simples. Evidência mais circunstancial: em alguns trabalhos sobre a adição de ruído de entrada gaussiano a redes neurais com neurônios logísticos, os trabalhos também não forneceram expressões fechadas. $\pi t ~\text{csch} ~\pi t$ $0$

Essa questão surgiu ao tentar entender o erro na aproximação do campo médio nas máquinas Boltzman.

— Douglas Zare
fonte

5

A seguir, o que acabei usando:

Escreva que . Podemos usar uma expansão da série Taylor. $\sigma(N(\mu,s^2)) = \sigma(\mu + X)$ $X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Existem questões de convergência. A função logística possui um polo onde , então em , ímpar. Divergência não é a mesma coisa que o prefixo é inútil, mas essa aproximação de série pode não ser confiável quando é significativo. $\exp(-x) = -1$ $x = k \pi i$ $k$ $P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Como , podemos escrever derivadas de como polinômios em . Por exemplo, e . Os coeficientes estão relacionados ao OEIS A028246 . $\sigma'(x) = \sigma(x) (1-\sigma(x))$ $\sigma(x)$ $\sigma(x)$ $\sigma'' = \sigma-3\sigma^2+2\sigma^3$ $\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

— Douglas Zare
fonte

4

O que você tem aqui é uma variável aleatória que segue uma distribuição logit-normal (ou logistic-normal) (consulte a Wikipedia ), ou seja, . Os momentos da distribuição logit-normal não têm soluções analíticas. $\mbox{logit}[x] \sim N(\mu, s^2)$

Mas é claro que se pode obtê-los via integração numérica. Se você usa R, existe o pacote logitnorm que possui tudo o que você precisa. Um exemplo:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Isso produz:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Portanto, existe até uma função de conveniência que fornecerá diretamente a média e a variação.

— Wolfgang
fonte