Vantagens da família exponencial: por que devemos estudá-lo e usá-lo?

Então, aqui estou estudando inferência. Eu gostaria que alguém pudesse enumerar as vantagens da família exponencial. Por família exponencial, quero dizer as distribuições que são dadas como

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

cujo suporte não depende do parâmetro . Aqui estão algumas vantagens que eu descobri: $\theta$

(a) Incorpora uma ampla variedade de distribuições.

(b) Oferece uma estatística natural suficiente acordo com o teorema de Neyman-Fisher. $T(x)$

(d) Facilita a dissociação da relação entre a resposta e o preditor da distribuição condicional da resposta (via funções de link).

Alguém pode oferecer outra vantagem?

self-study exponential-family

— user1337
fonte

para garantir a generalidade das respostas: existe algum PDF útil que não esteja na família exponencial?

— meduz 19/06

Respostas:

... por que devemos estudá-lo e usá-lo?

Acho que sua lista de vantagens responde efetivamente à sua própria pergunta, mas deixe-me oferecer alguns comentários meta-matemáticos que podem esclarecer esse tópico. De um modo geral, os matemáticos gostam de generalizar conceitos e resultados até o ponto máximo que podem, até os limites de sua utilidade. Ou seja, quando os matemáticos desenvolvem um conceito e descobrem que um ou mais teoremas úteis se aplicam a esse conceito, geralmente procuram generalizar o conceito e os resultados cada vez mais, até chegar ao ponto em que uma generalização adicional tornaria os resultados inaplicáveis ou não é mais útil. Como pode ser visto em sua lista, a família exponencial possui vários teoremas úteis anexados a ela e abrange uma ampla classe de distribuições. Isso é suficiente para torná-lo um objeto de estudo digno e uma classe matemática útil na prática.

Alguém pode oferecer outra vantagem?

Esta classe possui várias boas propriedades na análise bayesiana. Em particular, as distribuições exponenciais da família sempre têm antecedentes conjugados e a distribuição preditiva posterior resultante tem uma forma simples. Isso faz com que seja uma classe extremamente útil de distribuições nas estatísticas bayesianas. De fato, ele permite realizar análises bayesianas usando anteriores conjugados em um nível extremamente alto de generalidade, englobando todas as famílias distributivas da família exponencial.

— Restabelecer Monica
fonte

Eu segundo a nomeação de "conjugado anterior" como uma razão para gostar da família exponencial. De fato, antecedentes conjugados e estatísticas suficientes se encaixam muito bem juntos; portanto, juntos, eles estariam no topo da minha lista de razões para usar a família exponencial.

— Peter Leopold

Ah! Um companheiro bayesiano, eu vejo!

— Restabeleça Monica

Como você sabe que o preditivo posterior tem uma forma simples? Por exemplo, a previsão preditiva posterior de um modelo normal com média e variância desconhecidas é o T. do aluno escalonado e não central. Essa é uma forma simples?

— Neil G

@ Neil G: com dados do IID de uma família exponencial e um conjugado anterior, a distribuição preditiva é uma razão de duas instâncias da função normalizante para o prior, em que os argumentos do denominador são atualizados adicionando a estatística e o número suficientes de observações para os novos dados. Esta é uma forma simples e geral para a distribuição preditiva, que é obtida encontrando-se o fator de normalização da porta anterior (consulte, por exemplo, a seção 9.0.5 destas notas ).

— Restabelecer Monica

Ok, eu entendo. Eu nunca vi isso antes, obrigado.

— Neil G

Eu diria que a motivação mais convincente para as famílias exponenciais é que elas são uma distribuição suposta mínima, dadas as medidas . Se você possui um sensor de valor real cujas medidas são resumidas por média e variação, a suposição mínima que você pode fazer sobre suas observações é que elas são normalmente distribuídas. Cada família exponencial é o resultado de um conjunto semelhante de suposições.

Jaynes afirma esse princípio da entropia máxima:

“A distribuição de entropia máxima pode ser afirmada pela razão positiva de que é determinada exclusivamente como a que é maximamente não comprometida com relação à falta de informações, em vez da negativa que não havia razão para pensar de outra forma. Assim, o conceito de entropia fornece o critério de escolha que faltava ... ”

— Neil G
fonte