Que distribuição tem a entropia máxima para um desvio absoluto médio conhecido?


10

Eu estava lendo a discussão no Hacker News sobre o uso do desvio padrão em oposição a outras métricas, como o desvio médio absoluto. Portanto, se seguíssemos o princípio da entropia máxima, com que tipo de distribuição usaríamos se soubéssemos a média da distribuição e o desvio médio absoluto?

Ou faz mais sentido usar a mediana e o desvio médio absoluto da mediana?

Encontrei um Princípio de Máxima Entropia com Medidas Gerais de Desvio, de Grechuk, Molyboha e Zabarankin, que parece ter as informações de que estou curioso, mas estou demorando um pouco para decifrá-las.


Pergunta interessante; bem-vindo ao Cross Validated!
— Nick Stauner

Respostas:


13

Esses senhores sábios, Kotz, S., Kozubowski, TJ e Podgorski, K. (2001). The Laplace Distribution and Generalizations: A Revisit with Applications to Communications, Economics, Engineering, and Finance (No. 183). Springer.

desafie-nos com um exercício:

insira a descrição da imagem aqui

A prova pode seguir a prova teórica da informação de que o Normal é a entropia máxima para a média e variância especificadas. Especificamente: Seja a densidade de Laplace acima e g ( x ) seja qualquer outra densidade, mas com a mesma média e desvio absoluto médio. Isso significa que a seguinte igualdade é válida:f(x)g(x)

Eg(|X-c1 1|)=∫g(x)|x-c1 1|dx=c2=∫f(x)|x-c1 1|dx=Ef(|X-c1 1|)[1 1]

0 0≤DKeu(g||f)=∫g(x)em⁡(g(x)f(x))dx=∫g(x)em⁡g(x)dx-∫g(x)em⁡f(x)dx[2]

g-h(g)

∫g(x)em⁡[f(x)]dx=∫g(x)em⁡[1 12c2exp⁡{-1 1c2|x-c1 1|}]dx
=em⁡[1 12c2]∫g(x)dx-1 1c2∫g(x)|x-c1 1|dx
[1 1]

∫g(x)em⁡[f(x)]dx=-em⁡[2c2]-1 1c2∫f(x)|x-c1 1|dx=-(em⁡[2c2]+1 1)
-h(f)

[2]

0 0≤D(g||f)=-h(g)-(-h(f))⇒h(g)≤h(f)
g

Uma distribuição tão simples e uma boa redação também! Eu suspeitava que a distribuição seria suavizar exceto em 0.
— Dietrich Epp

Obrigado. Em algum momento "o mesmo acontece com o mesmo" -, como a distribuição de Laplace envolve o valor absoluto, era o principal suspeito.
— Alecos Papadopoulos
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.