Como é ?

Comecei a ler sobre o estimador de máxima verossimilhança e as estatísticas bayesianas recentemente. Eu entendo que, dado um modelo estatístico onde pertence a um grande espaço de parâmetros , a divergência KL entre e ( é a verdadeira O parâmetro que gostaríamos de encontrar) é minimizado para o que maximiza . Assumindo que os eventos sejam independentes e distribuídos de forma idêntica, isso equivale a maximizar a probabilidade conjunta$(X, (P_\theta))$$\theta$$\Theta$$P_\theta$$P_\theta*$$\theta^*$$\theta$$\prod_{i=1}^{n}p_\theta(X_i)$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n].$ (a suposição de independência permite equiparar isso ao produto dos elementos individuais)

A abordagem bayesiana, explica a crença anterior na distribuição de , e maximiza , que pela regra de Bayes é equivalente a maximizar . Eu entendi as coisas até essa parte. Depois disso, é chamado de "probabilidade" e é substituído por , que é apenas o produto das probabilidades individuais do X está na distribuição . Isso significa que é realmente , ou seja, probabilidades dadas$\theta$$P(\theta)$$P(\theta|X)$$P(X|\theta)P(\theta)/P(X)$$P(X|\theta)$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$P_\theta$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$P_\theta[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$\theta$, ou algo assim ?

Não sou muito bom em probabilidade e distribuição, e meu entendimento é que o objeto é chamado de probabilidade condicional e o objeto (que é igual a por independência) é chamado de probabilidade conjunta e são coisas muito diferentes. Eu já vi autores usarem para a probabilidade conjunta em probabilidade máxima em alguns casos. Estou confuso por que a probabilidade conjunta e a probabilidade condicional são consideradas iguais?$P(X|\theta)$$P[X_1=x_1, X_2=x_2, ...,X_n=x_n]$$\prod_{i=1}^{n}p_\theta(X_i)$$P(X;\theta)$

Existem alguns problemas aqui:

1. Nas estatísticas clássicas, todas as distribuições usadas são implicitamente condicionais em , o que é considerado uma "constante desconhecida". Na análise bayesiana, não existe uma constante desconhecida (qualquer coisa desconhecida é tratada como uma variável aleatória) e, em vez disso, usamos declarações de condicionamento explícitas para todas as declarações de probabilidade.$\theta$

2. Isso significa que, na análise bayesiana, a densidade de amostragem é o objeto que você se referiu no caso clássico. (A função de verossimilhança é apenas a densidade de amostragem tratada como uma função do parâmetro com tomado para ser corrigido.) Isso também significa que a densidade na análise bayesiana não é condicional em . É a densidade marginal dos dados, que é dada por:$P(X|\theta)$$P_\theta(X)$$\theta$$X=x$$P(X)$$\theta$

   $$P(X) = \int \limits_{\Theta} P(X|\theta) P(\theta) \ d \theta.$$ Existem alguns lugares em sua pergunta em que você fica um pouco desleixado com as instruções de condicionamento e acaba equivocando as distribuições condicionais e marginais dos dados. Esse não é um grande problema na estatística clássica (já que todas as declarações de probabilidade estão implicitamente condicionadas ao parâmetro), mas causará problemas para você na análise bayesiana.

3. A notação geralmente é usada apenas em estatísticas clássicas e é usada para denotar a mesma coisa que --- ie, é implicitamente a densidade condicional dos dados, dado o parâmetro . Seria incomum (e confuso) usar essa notação para a densidade da articulação.$P(X ; \theta)$$P_\theta(X)$

4. O método bayesiano pelo qual você maximiza a distribuição posterior em relação ao parâmetro é um método de estimativa pontual chamado estimativa máxima a posteriori (MAP) . Este é um método de estimativa pontual que fornece uma única estimativa pontual. Você deve ter em mente que os bayesianos geralmente se preocupam também em reter toda a densidade posterior, pois contém mais informações do que o estimador de MAP.

Usarei uma notação simplificada nesta resposta. Se você estiver fazendo estatísticas clássicas, não é uma variável aleatória. Portanto, a notação está descrevendo um membro de uma família de funções ou densidades de probabilidade , na qual é o parâmetro espaço. Em uma análise bayesiana, é uma variável aleatória é uma função ou densidade de probabilidade condicional, que modela sua incerteza sobre para cada valor possível de . Depois que você termina sua experiência, não há mais incerteza sobre$\theta$$p(x;\theta)$$\{p_\theta(x)\}_{\theta\in\Theta}$$\Theta$$\theta$$p(x\mid\theta)$$x$$\theta$$x$(torna-se dados / informações que você conhece) e você vê como uma função de , para esses dados "fixos" . Essa função de probabilidade vive na interseção entre os estilos clássico e bayesiano de inferência. Na minha opinião, o caminho bayesiano é melhor compreendido em termos de independência condicional . Sugiro que você escreva e explore a função de probabilidade do modelo de Bernoulli; representar graficamente; pense sobre seu significado antes e depois do experimento. Você mencionou que um bayesiano maximiza o posterior$p(x\mid \theta)=L_x(\theta)$$\theta$$x$$L_x(\theta)$$\pi(\theta\mid x)$. Esse não é necessariamente o caso. Existem outras maneiras de resumir a distribuição posterior. Essencialmente, o resumo escolhido depende da introdução de uma função de perda. Verifique a Escolha Bayesiana de Robert para aprender todos os detalhes sangrentos.