Por que os modelos de efeitos mistos resolvem a dependência?

Digamos que estamos interessados ​​em como as notas dos exames dos alunos são afetadas pelo número de horas que esses alunos estudam. Para explorar essa relação, poderíamos executar a seguinte regressão linear:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$$

Mas se amostrarmos alunos de várias escolas diferentes, podemos esperar que os alunos da mesma escola sejam mais parecidos entre si do que os alunos de escolas diferentes. Para lidar com esse problema de dependência, o conselho em muitos livros didáticos / na web é executar efeitos mistos e entrar na escola como um efeito aleatório. Portanto, o modelo se tornaria:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$$ Mas por que isso resolve o problema de dependência que estava presente na regressão linear?

Responda como se estivesse conversando com uma criança de 12 anos

A inclusão de termos aleatórios no modelo é uma maneira de induzir alguma estrutura de covariância entre as notas. O fator aleatório para a escola induz uma covariância diferente de zero entre diferentes alunos da mesma escola, enquanto é quando a escola é diferente.$0$

Vamos escrever seu modelo como onde s indexa a escola e i indexa os alunos (em cada escola). Os termos escola s são variáveis ​​aleatórias independentes desenhadas em um N ( 0 , τ ) . Os e s , i são variáveis ​​aleatórias independentes desenhadas em um N ( 0 ,

$$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$$ $s$$i$$\text{school}_s$$\mathcal N(0, \tau)$$e_{s, i}$$\mathcal N(0, \sigma^2)$ .

Esse vetor tem valor esperado

$$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$$ que é determinado pelo número de horas trabalhadas.

A covariância entre e Y s ' , i ' é 0 quando s ≠ s $Y_{s,i}$$Y_{s',i'}$$0$$s \ne s'$ , o que significa que a partida das notas dos valores esperados são independentes quando os alunos não estão na mesma escola.

A covariância entre e Y s , i ' é $Y_{s,i}$$Y_{s,i'}$$\tau$ quando e a variação de Y s , i é τ + σ 2 : as séries de alunos da mesma escola terão saídas correlacionadas dos valores esperados .$i \ne i'$$Y_{s,i}$$\tau + \sigma^2$

Exemplo e dados simulados

Aqui está uma breve simulação de R para cinquenta alunos de cinco escolas (aqui eu tiro ); os nomes da variável são auto-documentados: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

Traçamos as saídas da série esperada para cada aluno, ou seja, os termos , juntamente com (linha pontilhada) a saída média para cada escola:$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

Agora vamos comentar sobre esse enredo. O nível de cada linha a tracejado (correspondente a ) é desenhada de forma aleatória em uma lei normal. Os termos aleatórios específicos do aluno também são sorteados aleatoriamente em uma lei normal, eles correspondem à distância dos pontos da linha pontilhada. O valor resultante é, para cada aluno, a partida de α + horas $\text{school}_s$$\alpha + \text{hours} \beta$ , a nota determinada pelo tempo gasto no trabalho. Como resultado, os alunos da mesma escola são mais parecidos que os de escolas diferentes, como você afirmou na sua pergunta.

A matriz de variação para este exemplo

$\text{school}_s$$e_{s,i}$

$$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$$ $10\times 10$$A$ $$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$$