Qual é a função de densidade de probabilidade de entropia máxima para uma variável contínua positiva de média e desvio padrão dados?

13

Qual é a distribuição máxima de entropia para uma variável contínua positiva, dados seus primeiro e segundo momentos?

Por exemplo, uma distribuição Gaussiana é a distribuição máxima de entropia para uma variável ilimitada, dada sua média e desvio padrão, e uma distribuição Gamma é a distribuição máxima de entropia para uma variável positiva, dado seu valor médio e o valor médio de seu logaritmo.

— becko
fonte

13

Pode-se simplesmente usar o teorema de Boltzmann que está no próprio artigo da Wikipedia que você aponta .

Observe que especificar a média e a variância equivale a especificar os dois primeiros momentos brutos - cada um determina o outro (não é realmente necessário invocar isso, pois podemos aplicar o teorema diretamente à média e à variância, é apenas um pouco mais simples dessa maneira )

O teorema estabelece então que a densidade deve ter a forma:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

A integrabilidade na linha real positiva restringirá a , e acho que impõe algumas restrições às relações entre os $\lambda_2$ $\leq 0$ $\lambda$ s (que presumivelmente serão satisfeitos automaticamente ao iniciar a média e a variação especificadas, e não nos momentos brutos).

Para minha surpresa (já que eu não esperava isso quando iniciei esta resposta), isso parece nos deixar com uma distribuição normal truncada.

Por acaso, acho que não usei esse teorema antes; portanto, críticas ou sugestões úteis sobre qualquer coisa que não tenha considerado ou deixado de lado seriam bem-vindas.

— Glen_b -Reinstate Monica
fonte

+1 Obrigado. Parece tudo bem. Quando li o artigo da Wikipedia, parece que perdi o fato de o teorema de Boltzmann se aplicar a todos os intervalos fechados. Eu tinha assumido que se aplicava apenas a variáveis que iam de

a

.

- \infty

$-\infty$

\infty

$\infty$

— Becko

Por alguma razão, a medida de base uniforme e a distribuição normal truncada resultante não me convencem totalmente: como salienta Fred Schoen, para encontrar a entropia máxima (relativa) no caso contínuo, precisamos de uma medida de base ou distribuição de probabilidade de referência. Como a variável contínua

em questão é positiva, ela pode ser uma variável de escala e uma medida base proporcional a

se recomenda por várias razões (por exemplo, invariância de grupo; veja o livro de Jaynes ou o de Jeffreys).

x

$x$

1 / x

$1/x$

— Pglpm

Com essa medida base, a distribuição resultante é proporcional a

mas infelizmente não é normalizável (ainda pode ser usado como um anterior impróprio). Dada a positividade da variável em questão, pode valer a pena considerar se os momentos de seu logaritmo podem fazer mais sentido como portadores de informações e restrições de máxima entropia. Eles levariam a distribuições de entropia máxima do tipo gama.

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

— Pglpm

7

Quero tornar a resposta do @ Glen_b mais explícita. Aqui está uma resposta extra apenas porque ela não se encaixa como um comentário.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

$a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

Esta pergunta é uma duplicata do /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

— Fred Schoen
fonte