Intuição sobre estimativa de parâmetros em modelos mistos (parâmetros de variação vs. modos condicionais)

Li várias vezes que efeitos aleatórios (BLUPs / modos condicionais para, digamos, sujeitos) não são parâmetros de um modelo linear de efeitos mistos, mas podem ser derivados dos parâmetros estimados de variância / covariância. Por exemplo, Reinhold Kliegl et al. (2011) afirmam:

Efeitos aleatórios são os desvios dos indivíduos em relação à TR média grande e os desvios dos indivíduos em relação aos parâmetros de efeito fixo. Eles são assumidos como independentes e normalmente distribuídos com uma média de 0. É importante reconhecer que esses efeitos aleatórios não são parâmetros do LMM - apenas suas variações e covariâncias. [...] Os parâmetros LMM em combinação com os dados dos sujeitos podem ser usados ​​para gerar "previsões" (modos condicionais) de efeitos aleatórios para cada sujeito.

Alguém pode dar uma explicação intuitiva de como os parâmetros de (co) variância dos efeitos aleatórios podem ser estimados sem realmente usar / estimar os efeitos aleatórios?

Considere um modelo misto linear simples, por exemplo, um modelo de interceptação aleatória em que estimamos a dependência de em x em diferentes sujeitos e suponhamos que cada sujeito tenha sua própria interceptação aleatória: y = a + b x + c i + ϵ . Aqui intercepta$y$$x$

$$y = a + bx + c_i + \epsilon.$$ são modelados como proveniente de uma distribuição de Gauss c i ~ N ( 0 , τ 2 ) e o ruído aleatório é também gaussiana ε ~ N ( 0 , σ $c_i$ $$c_i\sim \mathcal N(0, \tau^2)$$ Nasintaxe, este modelo seria escrito como. $$\epsilon \sim \mathcal N(0, \sigma^2).$$ lme4y ~ x + (1|subject)

É instrutivo reescrever o acima descrito da seguinte maneira:

$$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$$

Essa é uma maneira mais formal de especificar o mesmo modelo probabilístico. A partir desta formulação podemos ver diretamente que os efeitos aleatórios não são "parâmetros": são variáveis aleatórias não observadas. Então, como podemos estimar os parâmetros de variação sem conhecer os valores de c ?$c_i$$c$

Observe que a primeira equação acima descreve a distribuição condicional de dada c . Se conhecemos a distribuição de c e de y ∣ c , podemos calcular a distribuição incondicional de y integrando sobre $y$$c$$c$$y\mid c$$y$$c$ . Você pode conhecê-lo como a lei da probabilidade total . Se ambas as distribuições forem gaussianas, a distribuição incondicional resultante também será gaussiana.

$\mathcal N(a + bx, \sigma^2+\tau^2)$$n$$\mathbf y$

$$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$$ $\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$$\sigma^2$$\tau^2$$c$$c_i$

$a$$b$$\tau^2$$\sigma^2$$c_i$$i$

É possível estimar facilmente parâmetros de variação e covariância sem depender de efeitos aleatórios usando efeitos fixos (veja aqui para uma discussão efeitos fixos vs. efeitos aleatórios; esteja ciente do fato de que existem definições diferentes desses termos).

Os efeitos fixos podem ser facilmente derivados adicionando uma variável indicadora (binária) para cada grupo (ou cada período de tempo ou o que você estiver pensando em usar como efeitos aleatórios; isso é equivalente à transformação interna). Isso permite estimar facilmente os efeitos fixos (que podem ser vistos como um parâmetro).

A suposição de efeitos fixos não exige que você faça uma suposição da distribuição dos efeitos fixos; é possível estimar facilmente a variação dos efeitos fixos (embora isso seja extremamente barulhento se o número de observações em cada grupo for pequeno; elas minimizam o viés para o custo de uma variação muito maior em comparação com os efeitos aleatórios, porque você perde um grau de liberdade para cada grupo ao adicionar essas variáveis ​​indicadoras). Você também pode estimar covariâncias entre diferentes conjuntos de efeitos fixos ou entre efeitos fixos e outras covariáveis. Fizemos isso, por exemplo, em um artigo chamado Equilíbrio Competitivo e Combinação de Sortimentos na Bundesliga alemã para estimar se melhores jogadores de futebol jogam cada vez mais para times melhores.

Efeitos aleatórios precisam de uma suposição prévia sobre a covariância. Nos modelos clássicos de efeitos aleatórios, você assume que os efeitos aleatórios são como um erro e são independentes das outras covariáveis ​​(para que você possa ignorá-los e usar o OLS e obter estimativas consistentes, embora ineficientes para o outro parâmetro, se as premissas ainda do modelo de efeitos aleatórios é verdadeiro).

Mais informações técnicas adicionais estão disponíveis aqui . Andrew Gelman também tem muito mais trabalho intuitivo sobre isso em seu belo livro Análise de dados usando modelos de regressão e hierárquicos / multiníveis