Por que a Entropia é maximizada quando a distribuição de probabilidade é uniforme?

32

Eu sei que a entropia é a medida da aleatoriedade de um processo / variável e pode ser definida da seguinte forma. para uma variável aleatória conjunto : - . No livro sobre Entropia e Teoria da Informação de MacKay, ele fornece esta declaração no capítulo 2 $X \in$ $A$ $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$

A entropia é maximizada se p for uniforme.

Intuitivamente, sou capaz de entendê-lo, como se todos os pontos de dados no conjunto fossem escolhidos com igual probabilidade ( sendo cardinalidade do conjunto ), então a aleatoriedade ou a entropia aumentam. Mas se sabemos que alguns pontos do conjunto ocorrerão com mais probabilidade do que outros (digamos, no caso de distribuição normal, onde a concentração máxima de pontos de dados está em torno da média e pequena área de desvio padrão em torno dele, então a aleatoriedade ou entropia deve diminuir. $A$ $1/m$ $m$ $A$ $A$

Mas existe alguma prova matemática para isso? Como a equação para eu a diferencio em relação a e defino-a como 0 ou algo assim. $H(X)$ $p(x)$

Em uma nota lateral, existe alguma conexão entre a entropia que ocorre na teoria da informação e os cálculos de entropia na química (termodinâmica)?

uniform entropy maximum-entropy

— user76170
fonte

2

Esta pergunta é respondida (de passagem) em stats.stackexchange.com/a/49174/919 .

— whuber

Estou ficando bastante confuso com outra afirmação dada no livro de Christopher Bishops, que afirma que "para uma única variável real, a distribuição que maximiza a entropia é a gaussiana". Ele também afirma que "a distribuição multivariada com entropia máxima, para uma dada covariância, é gaussiana". Como esta declaração é válida? A entropia da distribuição uniforme não é o máximo sempre?

— user76170

6

A maximização é sempre realizada sujeita a restrições na solução possível. Quando as restrições são de que toda a probabilidade deve desaparecer além dos limites predefinidos, a solução de entropia máxima é uniforme. Quando, em vez disso, as restrições são de que a expectativa e a variação devem ser iguais aos valores predefinidos, a solução ME é gaussiana. As declarações que você cita devem ter sido feitas em contextos específicos em que essas restrições foram declaradas ou pelo menos implicitamente compreendidas.

— whuber

2

Eu provavelmente também devo mencionar que a palavra "entropia" significa algo diferente no cenário gaussiano do que na pergunta original aqui, pois estamos discutindo entropia de distribuições contínuas . Essa "entropia diferencial" é um animal diferente da entropia de distribuições discretas. A principal diferença é que a entropia diferencial não é invariável sob uma mudança de variáveis.

— whuber

Então, o que significa que a maximização sempre é em relação às restrições? E se não houver restrições? Quero dizer, não pode haver uma pergunta como esta? Qual distribuição de probabilidade tem entropia máxima?

— user76170

25

Heuristicamente, a função densidade de probabilidade em com entropia máxima acaba sendo a que corresponde à menor quantidade de conhecimento de $\{x_1, x_2,..,.x_n\}$ , em outras palavras, a distribuição uniforme. $\{x_1, x_2,..,.x_n\}$

Agora, para uma prova mais formal, considere o seguinte:

A função de densidade de probabilidade em é um conjunto de números reais não negativo que adicionar até 1. A entropia é uma função contínua dos -tuples , e estes pontos encontram-se em um subconjunto compacto de , para que haja um $\{x_1, x_2,..,.x_n\}$ $p_1,...,p_n$ $n$ $(p_1,...,p_n)$ $\mathbb{R}^n$ $n$ -tuplo onde a entropia é maximizada. Queremos mostrar isso ocorre em e em nenhum outro lugar. $(1/n,...,1/n)$

Suponha que não sejam todos iguais, digamos . (Claramente ) Encontraremos uma nova densidade de probabilidade com maior entropia. Segue-se, desde que a entropia é maximizada em algum duplo, essa entropia é maximizada exclusivamente no duplo com para todos os . $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

Como , para positivo pequeno , temos . A entropia de menos a entropia de $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ é igual $\{p_1,p_2,p_3,...,p_n\}$

Para concluir a prova, queremos mostrar que isso é positivo parapequeno o suficiente. Reescreva a equação acima como

- p_{1} \log (\frac{p_{1} + ε}{p_{1}}) - ε \log (p_{1} + ε) - p_{2} \log (\frac{p_{2} - ε}{p_{2}}) + ε \log (p_{2} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2} \log (1 - \frac{ε}{p_{2}}) + ε (\log p_{2} + \log (1 - \frac{ε}{p_{2}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

Recordando que para pequeno , a equação acima é que é positivo quando $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε \log p_{1} + ε + ε \log p_{2} + O (ε^{2}) = ε \log (p_{2} / p_{1}) + O (ε^{2})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

é pequeno o suficiente, pois

.

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

Uma prova menos rigorosa é a seguinte:

Considere primeiro o seguinte lema:

$p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{I} p \log p d x \leq - \int_{I} p \log q d x

$-\int_I p\log p dx\leq -\int_I p\log q dx$

p (x) = q (x)

$p(x) = q(x)$

x

$x$

$p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$

- \sum_{i = 1}^{n} p_{i} \log q_{i} = \sum_{i = 1}^{n} p_{i} \log n = \log n

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$

p

$p$

Além disso, a wikipedia também tem uma breve discussão sobre isso: wiki

— mitchus
fonte

11

\exp (H)

$\exp(H)$

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$

1 / p_{i}

$1/p_i$

\sum \log n

$\sum{\log{n}}$

\log n

$\log{n}$

4

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

\log n

$\log n$

i

$i$

1

$1$

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$

A mesma explicação com mais detalhes pode ser encontrada aqui: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

— Roland

14

A entropia na física e na teoria da informação não está relacionada. Eles são mais diferentes do que o nome sugere, mas há claramente uma ligação entre eles. O objetivo da métrica de entropia é medir a quantidade de informações. Veja minha resposta com gráficos aqui para mostrar como a entropia muda de distribuição uniforme para uma corcunda.

A razão pela qual a entropia é maximizada para uma distribuição uniforme é porque foi projetada assim! Sim, estamos construindo uma medida para a falta de informações, portanto, queremos atribuir seu valor mais alto à distribuição menos informativa.

Exemplo. Eu perguntei " Cara, cadê meu carro ?" Sua resposta é "está em algum lugar nos EUA entre os oceanos Atlântico e Pacífico". Este é um exemplo da distribuição uniforme. Meu carro pode estar em qualquer lugar nos EUA. Não obtive muitas informações dessa resposta.

No entanto, se você me dissesse "Vi seu carro uma hora atrás na Rota 66, partindo de Washington, DC" - essa não é mais uma distribuição uniforme. É mais provável que o carro esteja a 100 quilômetros de DC, do que em qualquer lugar perto de Los Angeles. Há claramente mais informações aqui.

Portanto, nossa medida deve ter alta entropia para a primeira resposta e menor para a segunda. O uniforme deve ter uma distribuição menos informativa, é basicamente a resposta "não faço ideia".

— Aksakal
fonte

7

$f(x)$ $[a,b]$ $y_1, \ldots y_n$ $[a,b]$ $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

$f(x) = -x \log(x)$ $y_i = p(x_i)$ $p(x_i)$ $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$

— Ganea do Otaviano
fonte

11

Na verdade, acho que a prova de desigualdade de Jensen é uma prova muito mais profunda do que a AM-GM.

— Casebash 8/10

4

Em uma nota lateral, existe alguma conexão entre a entropia que ocorre na teoria da informação e os cálculos de entropia na química (termodinâmica)?

Sim existe! Você pode ver o trabalho de Jaynes e muitos outros após o trabalho dele (como aqui e aqui , por exemplo).

Mas a idéia principal é que a mecânica estatística (e outros campos da ciência também) pode ser vista como a inferência que fazemos sobre o mundo .

Como leitura adicional, recomendo o livro de Ariel Caticha sobre esse assunto.

— kaslusimoes
fonte

1

Uma explicação intuitiva:

Se colocarmos mais massa de probabilidade em um evento de uma variável aleatória, teremos que retirar alguns de outros eventos. Um terá menos conteúdo de informação e mais peso, os outros mais conteúdo de informação e menos peso. Portanto, a entropia, sendo o conteúdo de informação esperado, diminuirá, pois o evento com menor conteúdo de informação será mais ponderado.

Como um caso extremo, imagine um evento com probabilidade de quase um, portanto os outros eventos terão uma probabilidade combinada de quase zero e a entropia será muito baixa.

— Roland
fonte

0

$p_i$

$p_i$ $i=1,...,n$ $q = 1-\sum_{i=0}^{n-1} p_i$

\begin{aligned} H & = - \sum_{i = 0}^{n - 1} p_{i} \log p_{i} - (1 - q) \log q \\ H * \ln 2 & = - \sum_{i = 0}^{n - 1} p_{i} \ln p_{i} - (1 - q) \ln q \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial H}{\partial p_{i}} & = \ln \frac{q}{p_{i}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$

q = p_{i}

$q = p_i$

i

$i$

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$

— Jan Fan
fonte

p_{i}

$p_i$