Quais distribuições têm soluções de formulário fechado para estimativa de máxima verossimilhança?

Quais distribuições têm soluções em formato fechado para as estimativas de máxima verossimilhança dos parâmetros de uma amostra de observações independentes?

Sem qualquer perda apreciável de generalidade, podemos assumir que a densidade de probabilidade (ou massa) para qualquer observação x i (de n observações) é estritamente positiva, permitindo-nos escrevê-la como exponencial$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

para um vetor de parâmetro .$\theta = (\theta_j)$

Igualar o gradiente da função de probabilidade do log a zero (que encontra pontos estacionários da probabilidade, entre os quais estarão todos os máximos globais interiores, se houver) fornece um conjunto de equações da forma

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

um para cada . Para qualquer um destes para ter uma solução pronta, nós gostaríamos de ser capaz de separar os x i termos dos q termos . (Tudo flui dessa idéia-chave, motivada pelo Princípio da Preguiça Matemática : faça o mínimo possível de trabalho; pense antes da computação; lide primeiro com as versões fáceis de problemas difíceis.) A maneira mais geral de fazer isso é pelas equações a forma$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

para funções conhecidas , τ j e α j , pois a solução é obtida resolvendo as equações simultâneas$\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

para . Em geral, isso será difícil de resolver, mas desde que o conjunto de valores de ( n α j ( θ $\theta$forneça informações completas sobreθ, poderíamos simplesmente usar esse vetorno lugar deθ(generalizando assim a idéia de uma solução de "forma fechada", mas de uma maneira altamente produtiva). Nesse caso, a integração em relação aθjproduz$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(onde representa todos os componentes de θ, exceto θ j ). Como o lado esquerdo é funcionalmente independente de θ j , devemos ter que τ j ( x ) = T ( x ) para alguma função fixa T ; que B não deve depender de θ ; e η j são derivadas de alguma função H ( θ ) e α j são derivadas de alguma outra função $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$ , ambos funcionalmente independentes dos dados. De onde$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

As densidades que podem ser escritas dessa forma compõem a conhecida família Koopman-Pitman-Darmois , ou exponencial . Compreende famílias paramétricas importantes, contínuas e discretas, incluindo Gama, Normal, Qui-quadrado, Poisson, Multinomial e muitas outras .

Não sei se posso listar todos eles. O exponencial, o normal e o binômio vêm à mente e todos se enquadram na classe das famílias exponenciais. A família exponencial tem sua estatística suficiente no expoente e o mle é frequentemente uma boa função dessa estatística suficiente.