Qual a relação entre o tamanho da amostra e a influência do anterior no posterior?

17

Se tivermos um tamanho pequeno de amostra, a distribuição anterior influenciará muito a distribuição posterior?

bayesian sample-size prior

— toby j
fonte

5

A intuição é clara: quanto mais dados você tiver, menos precisará confiar nos seus anteriores. Não apenas uma lição de estatística, mas uma lição de vida! ;)

— Lucas Reis

27

Sim. A distribuição posterior para um parâmetro , dado um conjunto de dados pode ser escrita como $\theta$ ${\bf X}$

p (θ | X) \propto \underset{eu Eu k e eu Eu h o o d}{\underset{⏟}{p (X | θ)}} \cdot \underset{p r Eu o r}{\underset{⏟}{p (θ)}}

$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$

ou, como é mais comumente exibido na escala de log,

registro (p (θ | X)) = c + eu (θ; X) + registro (p (θ))

$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$

A probabilidade logarítmica, , escala com o tamanho da amostra , pois é uma função dos dados, enquanto a densidade anterior não. Portanto, à medida que o tamanho da amostra aumenta, o valor absoluto de fica maior enquanto o permanece fixo (para um valor fixo de ), assim a soma $L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$ $L(\theta;{\bf X})$ $\log(p(\theta))$ $\theta$ se torna mais fortemente influenciado por medida que o tamanho da amostra aumenta. $L(\theta;{\bf X}) + \log(p(\theta))$ $L(\theta;{\bf X})$

Portanto, para responder diretamente à sua pergunta - a distribuição anterior se torna cada vez menos relevante à medida que se torna compensada pela probabilidade. Portanto, para um pequeno tamanho de amostra, a distribuição anterior desempenha um papel muito maior. Isso concorda com a intuição, pois você esperaria que as especificações anteriores tivessem um papel maior quando não houvesse muitos dados disponíveis para refutá-las, enquanto que, se o tamanho da amostra for muito grande, o sinal presente nos dados será superior a priori crenças foram colocadas no modelo.

— Macro
fonte

6

c

$c$

n

$n$

20

$p$ ${\rm Binomial}(n,p)$ $n$ $x=n/2$ $n$ $1/2$

$n=2$ $n=50$

${\rm Beta(1/2,1/2)}$ ${\rm Beta(2,2)}$

Distribuições posteriores

$n=50$

— MånsT
fonte

4

Ilustrações muito legais, @ MånsT. Desmarquei as palavras 'Beta' e 'Binomial' na sua resposta - espero que você não se importe.

— Macro

Claro que não, @Macro! Concordo que parece melhor assim.

— MånsT