Por que a família exponencial não inclui todas as distribuições?

Eu estou lendo o livro:

Bispo, Reconhecimento de Padrões e Aprendizado de Máquina (2006)

que define a família exponencial como distribuições do formulário (Eq. 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} você (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Mas não vejo restrições impostas a $h(\mathbf x)$ ou $\mathbf u(\mathbf x)$ . Isso não significa que qualquer distribuição possa ser colocada neste formato, por escolha apropriada de $h(\mathbf x)$ e $\mathbf u(\mathbf x)$ (na verdade, apenas uma delas deve ser escolhida corretamente!)? Então, como é que a família exponencial não inclui todas as distribuições de probabilidade? o que estou perdendo?

Finalmente, uma questão mais particular que me interessa é a seguinte: a distribuição de Bernoulli está na família exponencial ? A Wikipedia afirma que sim, mas como estou obviamente confuso sobre algo aqui, gostaria de ver o porquê.

mathematical-statistics exponential-family

— becko
fonte

para a prova de que a distribuição de Bernoulli está na família exponencial, tente usar o fato de que

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ e veja onde isso o leva

— jld

Apenas para esclarecer, você está perguntando se alguma distribuição pode ser escrita neste formulário ou se alguma família de distribuições pode ser escrita neste formulário? Você parece ter obtido respostas para a última pergunta.

— Owen

@ Owen Sim, agora vejo que este é o ponto crucial. Embora qualquer distribuição possa ser escrita neste formulário (configurando

h (x)

$h(\mathbf x)$ apropriadamente

g = 1, u = 0

$g=1,\mathbf u= 0$ ), isso não implica que qualquer família possa ser escrita nesse formulário.

— Becko

@ Becko, isso é exatamente certo. O fraseado no texto, "a família exponencial", é um tanto enganador, porque não há apenas uma família exponencial; antes, cada escolha de gera uma família. Muitos autores dizem "uma família exponencial", deixando isso mais claro; por exemplo, consulte a página da Wikipedia: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@ Becko Eu acho que seu argumento mostra que qualquer distribuição pode ser um membro de uma família exponencial, mas não que qualquer família de distribuições possa ser uma família exponencial.

— Matthew Drury

Respostas:

Bem, uma consequência de sua definição: é que o suporte da família de distribuição indexada pelo parâmetro não depende de . (O suporte de uma distribuição de probabilidade é o (fechamento de) o menor conjunto com probabilidade 1, ou seja, onde a distribuição mora .) Portanto, basta dar um contra-exemplo de uma família de distribuição com suporte, dependendo do parâmetro, o exemplo mais fácil é a seguinte família de distribuições uniformes:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (a outra resposta de @Chaconne fornece um contra-exemplo mais sofisticado).

— kjetil b halvorsen
fonte

Considere a distribuição não central de Laplace

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

A menos que você não consiga escrevercomo um produto interno entre e alguma função de . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

A família exponencial inclui a grande maioria das boas distribuições nomeadas que comumente encontramos, portanto, a princípio pode parecer que tem tudo de interesse, mas de maneira alguma é exaustiva.

— jld
fonte