Bootstrapping vs Bayesian Bootstrapping conceitualmente?

Estou com problemas para entender o que é um processo bayesiano de inicialização e como isso seria diferente da inicialização normal. E se alguém pudesse oferecer uma revisão intuitiva / conceitual e uma comparação de ambos, isso seria ótimo.

Vamos dar um exemplo.

Digamos que temos um conjunto de dados X que é [1,2,5,7,3].

Se fizermos uma amostragem com substituição várias vezes para criar tamanhos de amostra iguais ao tamanho de X (então, [7,7,2,5,7], [3,5,2,2,7] etc.), e então calcular as médias de cada um, é que a distribuição de bootstrap da amostra significa?

Qual seria a distribuição bayesiana de bootstrap disso?

E como a distribuição bayesiana de bootstrap de outros parâmetros (variação, etc) é feita da mesma maneira?

O bootstrap (freqüentista) toma os dados como uma aproximação razoável à distribuição populacional desconhecida. Portanto, a distribuição amostral de uma estatística (uma função dos dados) pode ser aproximada, repetindo a amostragem repetida das observações com substituição e calculando a estatística para cada amostra.

Seja denotar os dados originais. (No exemplo dado, n = 5. ) Seja y b = ( y b 1 , … , y b n ) denotar uma amostra de autoinicialização. Essa amostra provavelmente terá algumas observações repetidas uma ou mais vezes e outras observações estarão ausentes. A média da amostra de bootstrap é dada por m b = $y = (y_1,\ldots,y_n)$$n=5$$y^b = (y_1^b, \ldots, y_n^b)$É a distribuição dembpor várias replicações de autoinicialização que é usada para aproximar a distribuição de amostragem da população desconhecida.

$$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$$ $m_b$

A fim de compreender a ligação entre o bootstrap frequencista e o bootstrap Bayesiana, é instrutivo para ver como calcular a partir de uma perspectiva diferente.$m_b$

Em cada amostra de auto-inicialização , cada observação y i ocorre de 0 a n vezes. Seja h b i o número de vezes que y i ocorre em y b , e seja h b = ( h b 1 , … , h b n ) . Assim, h b i ∈ { 0 , 1 , … , n - 1 , n $y^b$$y_i$$n$$h_i^b$$y_i$$y^b$$h^b = (h_1^b, \ldots, h_n^b)$$h_i^b \in \{0, 1, \ldots, n-1,n\}$e . Dado h b , podemos construir uma coleção de pesos não negativos que somam um: w b = h b / n , onde w b i = h b i / n . Com essa notação, podemos reexpressar a média da amostra de bootstrap como m b = n ∑ i = 1 w b $\sum_{i=1}^n h_i^b = n$$h^b$$w^b = h^b/n$$w_i^b = h_i^b/n$

$$m_b = \sum_{i=1}^n w_i^b\, y_i.$$

$w^b$$h^b$

$$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$$ $m_b$$w^b$$y$

$y$$w$

$$\mu = \sum_{i=1}^n w_i\, y_i.$$

Aqui está um esboço em miniatura do modelo por trás do bootstrap bayesiano: A distribuição de amostragem para as observações é multinomial e a anterior para os pesos é uma distribuição Dirichlet limitante que coloca todo o seu peso nos vértices do simplex. (Alguns autores se referem a esse modelo como modelo de probabilidade multinomial .)

$$w \sim \textsf{Dirichlet}(1,\ldots,1).$$

$\mu$$w$$y$

$$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$$ $g(y_i,\theta)$$\theta$$\underline 0$$\theta$$y$$w$$w$probabilidade empírica e com método generalizado de momentos (GMM).)

$$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$$ $\theta = (\mu,v)$ $$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$$