Entropia Bayesiana vs Máxima

Suponha que a quantidade que queremos deduzir seja uma distribuição de probabilidade. Tudo o que sabemos é que a distribuição vem de um conjunto $E$ determinado, digamos, por alguns de seus momentos e temos um anterior . $Q$

O princípio da entropia máxima (MEP) diz que que possui menos entropia relativa de (ou seja, ) é o melhor para selecionar. Enquanto a regra bayesiana de seleção tem um processo de seleção do posterior, dado o prior que é apoiado pelo teorema de Bayes. $P^{\star}\in E$ $Q$ $P^{\star}=\displaystyle \text{argmin}_{P\in E}D(P\|Q)$

Minha pergunta é se existe alguma conexão entre esses dois métodos de inferência (ou seja, se os dois métodos se aplicam ao mesmo problema e têm algo em comum)? Ou se na inferência bayesiana o cenário é completamente diferente do cenário mencionado acima? Ou não estou fazendo sentido ?!

bayesian estimation maximum-entropy

— Ashok
fonte

Q é uma distribuição sobre E?

— Simon Byrne

Você quer perguntar,

Q \in E

$Q\in E$ ? Precisa não ser.

— Ashok

Você pode achar esta pergunta útil: stats.stackexchange.com/q/4978/495

— Simon Byrne

Robin, o fato é que não conheço completamente o método de inferência bayesiano. Caso contrário, essa pergunta nem teria surgido para mim. Agora estou tentando encontrar tempo para aprender sobre o bayesiano. Tudo o que eu sabia (grosso modo) era que, usando o teorema de Bayes, se alguma informação anterior e algumas informações adicionais forem fornecidas, é possível atualizar as probabilidades. Eu não sei disso rigorosamente. Considerando que eu sei MaxEnt rigorosamente o que isso significa. Se possível, por favor, explique ou leve-me (ou seja, aponte alguma referência) para aprender rigorosamente a inferência bayesiana. Obrigado.

— Ashok

O @Ashok na maioria das vezes a conexão que você está procurando surge da descrição de conjuntos convexos com uma medida de probabilidade em seus pontos extremos (Teoria de Choquet).

— robin Girard

Isso pode chegar um pouco tarde, mas a questão deve ser reformulada: conforme definido por Jaynes , a entropia máxima é uma maneira de construir uma distribuição anterior que (a) satisfaça as restrições impostas por e (b) tenha a entropia máxima, relativa a uma medida de referência no caso contínuo: Assim, a entropia máxima (de Jaynes) é claramente parte da caixa de ferramentas bayesiana. E a máxima entropia prévia não fornece a distribuição anterior mais próxima da verdadeira anterior, conforme sugerido pela pergunta de Ashok . $E$

\int - \log [π (θ)] d μ (θ) .

$\int -\log [ \pi(\theta) ] \text{d}\mu(\theta)\,.$

A inferência bayesiana sobre uma distribuição é um problema completamente diferente, tratado pelos não paramétricos bayesianos (ver, por exemplo, este livro recente de Hjort et al.). Exige observações de , o que não parece ser o cenário da pergunta atual ... $Q$ $Q$

— Xi'an
fonte