Por que a permutabilidade de variáveis ​​aleatórias é essencial em modelos bayesianos hierárquicos?

Por que a permutabilidade de variáveis ​​aleatórias é essencial para a modelagem bayesiana hierárquica?

A permutabilidade não é uma característica essencial de um modelo hierárquico (pelo menos não no nível observacional). É basicamente um análogo bayesiano de "independente e identicamente distribuído" da literatura padrão. É simplesmente uma maneira de descrever o que você sabe sobre a situação em questão. Ou seja, "embaralhar" não altera seu problema. Uma maneira de pensar nisso é considerar o caso em que você recebeu mas não foi informado o valor de . Se aprender que levaria você a suspeitar de valores específicos de mais do que outros, a sequência não será intercambiável. Se não lhe disser nada sobre$x_{j}=5$$j$$x_{j}=5$$j$$j$, a sequência é intercambiável. Observe que a permutabilidade está "na informação" e não na "realidade" - depende do que você sabe.

Embora a permutabilidade não seja essencial em termos das variáveis ​​observadas, provavelmente seria bastante difícil ajustar qualquer modelo sem alguma noção de permutabilidade, porque sem a permutabilidade você basicamente não tem justificativa para agrupar as observações. Portanto, meu palpite é que suas inferências serão muito mais fracas se você não tiver permutabilidade em algum lugar do modelo. Por exemplo, considere para . Se for completamente permutável, isso significa e . Se for condicionalmente permutável, dado , isso significa$x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$. Se for condicionalmente permutável, dado , isso significa . Mas observe que em um desses dois casos "condicionalmente permutáveis", a qualidade da inferência é reduzida em comparação com o primeiro, porque existem parâmetros adicionais que são introduzidos no problema. Se não temos permutabilidade, basicamente temos problemas não relacionados.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

Basicamente significa intercambialidade podemos fazer a inferência para qualquer e que são parcialmente permutáveis i $x_{i}\to \text{parameters}\to x_{j}$$i$$j$

"Essencial" é muito vago. Mas, suprimindo os aspectos técnicos, se a sequência for intercambiável, os serão condicionalmente independentes, dados alguns parâmetros não observados com uma distribuição de probabilidade . Ou seja, . não precisa ser univariado ou mesmo dimensional finito e pode ser ainda mais representado como uma mistura etc.X i Θ π p ( X ) = ∫ p ( X i | Θ ) d π ( Θ ) $X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

A permutabilidade é essencial no sentido de que essas relações de independência condicional nos permitem ajustar modelos que quase certamente não poderíamos de outra maneira.

Não é! Não sou especialista aqui, mas darei meus dois centavos. Em geral, quando você tem um modelo hierárquico, diga

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

Fazemos suposições de independência condicional, isto é, condicionais em , as são intercambiáveis. Se o segundo nível não for intercambiável, você poderá incluir outro nível que o torne intercambiável. Mas, mesmo que você não consiga supor a excelência, o modelo ainda pode ser um bom ajuste para seus dados no primeiro nível. Θ $\Theta_{2}$$\Theta_{1}$

Por último, mas não menos importante, a permutabilidade é importante apenas se você quiser pensar em termos do teorema da representação de De Finetti. Você pode apenas pensar que os anteriores são ferramentas de regularização que ajudam você a se ajustar ao seu modelo. Nesse caso, a suposição de permutabilidade é tão boa quanto seu modelo se encaixa nos dados. Em outras palavras, se você pensa no modelo hierárquico bayesiano como uma maneira de se ajustar melhor aos seus dados, a permutabilidade não é essencial em nenhum sentido.