Quais são algumas aplicações ilustrativas da probabilidade empírica?

Ouvi falar da probabilidade empírica de Owen, mas até recentemente não prestava atenção até que me deparei com isso em um artigo de interesse ( Mengersen et al. 2012 ).

Em meus esforços para entendê-lo, observei que a probabilidade dos dados observados é representada como , onde e .

$$L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)$$ $\sum_i p_i = 1$$p_i > 0$

No entanto, não consegui dar o salto mental que liga essa representação à forma como ela pode ser usada para fazer inferências sobre as observações. Talvez eu esteja muito enraizado em pensar na probabilidade de parâmetros errados de um modelo?

Independentemente disso, tenho procurado no Google Scholar por algum artigo que emprega probabilidade empírica que me ajudaria a internalizar o conceito ... sem sucesso. Obviamente, há o livro de Art Owen sobre Probabilidade empírica , mas o Google Livros deixa de fora todos os detalhes deliciosos e ainda estou no lento processo de obter um empréstimo entre bibliotecas.

Enquanto isso, alguém pode me indicar documentos e documentos que ilustrem claramente a premissa da probabilidade empírica e como ela é empregada? Uma descrição ilustrativa do próprio EL também seria bem-vinda!

Não consigo pensar em lugar melhor do que o livro de Owen para aprender sobre probabilidade empírica.

Uma maneira prática de pensar em é como a probabilidade de uma distribuição multinomial nos pontos de dados observados . A probabilidade é, portanto, uma função do vetor de probabilidade , o espaço do parâmetro é realmente o simplex dimensional dos vetores de probabilidade, e o MLE está colocando peso em cada uma das observações (supondo que elas são todos diferentes). A dimensão do espaço do parâmetro aumenta com o número de observações.x 1 , … , x n ( p 1 , … , p n ) n 1 /$L = L(p_1, \ldots, p_n)$$x_1, \ldots, x_n$$(p_1, \ldots, p_n)$$n$$1/n$

Um ponto central é que a probabilidade empírica fornece um método para calcular os intervalos de confiança através do perfil sem especificar um modelo paramétrico. Se o parâmetro de interesse é a média, , então para qualquer vetor de probabilidade , temos que a média é e podemos calcular a probabilidade do perfil como Em seguida, podemos calcular intervalos de confiança no formato com . Aqui é a média empírica e$\mu$$p = (p_1, \ldots, p_n)$

$$\mu(p) = \sum_{i=1}^n x_i p_i,$$ $$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$$ $$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$$ $r \in (0,1)$$\bar{x}$$L_{\text{prof}}(\bar{x}) = n^{-n}$. Os intervalos talvez devam ser chamados apenas de intervalos de probabilidade (perfil), já que nenhuma declaração sobre cobertura é feita antecipadamente. Com a diminuição de os intervalos (sim, são intervalos) formam uma família crescente e aninhada de intervalos de confiança. A teoria assintótica ou o bootstrap pode ser usada para calibrar para alcançar 95% de cobertura, digamos.$I_r$$r$$I_r$$r$

O livro de Owen aborda isso em detalhes e fornece extensões para problemas estatísticos mais complicados e outros parâmetros de interesse.

Em econometria, muitos trabalhos aplicados começam com a suposição de que onde é um vetor de dados, é um sistema conhecido de equações e é um parâmetro desconhecido, . A função vem de um modelo econômico. O objetivo é estimar .

$$E[g(X,\theta)] = 0$$ $X$$g$$q$$\theta \in \Theta \subseteq \mathbb{R}^p$$q \geq p$$g$$\theta$

A abordagem tradicional, em econometria, para estimativa e inferência em é usar o método generalizado de momentos: que é uma matriz de ponderação definida positiva e Provedores de probabilidade empírica são um estimador alternativo ao GMM. A idéia é impor a condição de momento como uma restrição ao maximizar a probabilidade não paramétrica. Primeiro, corrija um . Resolva sujeito a $\theta$

$$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$$ $W$ $$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$$ $\theta$ $$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$$ $$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$$ Este é o `loop interno ' Em seguida, maximize sobre : Foi demonstrado que essa abordagem possui melhores propriedades de ordem superior ao GMM (ver Newey e Smith 2004, Econometrica ), que é uma das razões pelas quais é preferível ao GMM. Para referência adicional, consulte as notas e a aula de Imbens e Wooldridge aqui (aula 15).$\theta$ $$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$$

É claro que existem muitas outras razões pelas quais EL atraiu a atenção na econometria, mas espero que este seja um ponto de partida útil. Modelos de igualdade de momento são muito comuns na economia empírica.

Na análise de sobrevivência, a curva de Kaplan-Meier é o estimador não paramétrico mais famoso da função de sobrevivência , onde denota a variável aleatória de tempo para evento. Basicamente, é uma generalização da função de distribuição empírica que permite a censura. Pode ser derivado heuristicamente, conforme indicado na maioria dos livros práticos. Mas também pode ser formalmente derivado como um estimador de probabilidade máxima (empírica). Aqui estão mais detalhes .$S(t) = Pr(T > t)$$T$$\hat{S}$