Qual é a diferença entre efeitos aleatórios, efeitos fixos e modelo marginal?

Estou tentando expandir meu conhecimento de estatística. Eu venho de uma experiência em ciências físicas com uma abordagem "baseada em receita" para testes estatísticos, onde dizemos que é contínuo, é normalmente distribuído - regressão OLS .

Na minha leitura, encontrei os termos: modelo de efeitos aleatórios, modelo de efeitos fixos, modelo marginal. Minhas perguntas são:

• Em termos muito simples, o que são?
• Quais são as diferenças entre eles?
• Algum deles é sinônimo?
• Onde os testes tradicionais como regressão OLS, ANOVA e ANCOVA se enquadram nessa classificação?

Apenas tentando decidir para onde ir em seguida com o auto-estudo.

Esta questão foi discutida parcialmente neste site, como abaixo, e as opiniões parecem contraditórias.

• Qual é a diferença entre os modelos de efeito fixo, efeito aleatório e efeito misto?
• Qual é a diferença matemática entre efeitos aleatórios e fixos?
• Conceitos por trás dos modelos de efeitos fixos / aleatórios

Todos os termos geralmente estão relacionados a dados longitudinais / em painel / agrupados / hierárquicos e medidas repetidas (no formato de regressão avançada e ANOVA), mas têm múltiplos significados em diferentes contextos. Gostaria de responder à pergunta em fórmulas baseadas no meu conhecimento.

Modelo de efeitos fixos

• Em bioestatística, efeitos fixos, denotados como na Equação (*) abaixo, geralmente são associados a efeitos aleatórios. Mas o modelo de efeitos fixos também é definido para assumir que as observações são independentes, como um cenário transversal, como em Longitudinal Data Analysis of Hedeker and Gibbons (2006).$\color{red}{\boldsymbol\beta}$
• Na econometria, o modelo de efeitos fixos pode ser escrito como onde é interceptação fixa (não aleatória) para cada sujeito ( ), ou também podemos ter um efeito fixo como para cada medida repetida ( ); indica covariáveis. $$y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$$ $\color{red}{u_i}$$i$$u_j$$j$$\boldsymbol x_{ij}$
• Na metanálise, o modelo de efeito fixo assume que o efeito subjacente é o mesmo em todos os estudos (por exemplo, Mantel e Haenszel, 1959).

Modelo de efeitos aleatórios

• Em bioestatística, o modelo de efeitos aleatórios (Laird e Ware, 1982) pode ser escrito como onde deve seguir uma distribuição. indica covariáveis ​​para efeitos fixos e indica covariáveis ​​para efeitos aleatórios. $$\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$$ $\color{blue}{\boldsymbol u_i}$$\boldsymbol x_{ij}$$\boldsymbol z_{ij}$
• Na econometria, o modelo de efeitos aleatórios pode se referir apenas ao modelo de interceptação aleatória como na bioestatística, ou seja, e é um escalar.$\boldsymbol z_{ij}^{'}=1$$\boldsymbol u_i$
• Na metanálise, o modelo de efeito aleatório assume efeitos heterogêneos entre os estudos (DerSimonian e Laird, 1986).

Modelo marginal

O modelo marginal é geralmente comparado ao modelo condicional (modelo de efeitos aleatórios), e o primeiro se concentra na média da população (por exemplo, modelo linear) enquanto este lida com a média condicionalA interpretação e a escala dos coeficientes de regressão entre o modelo marginal e o modelo de efeitos aleatórios seriam diferentes para modelos não lineares (por exemplo, regressão logística). Seja , então

$$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$$ $$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$$ E(yij)=E(E(yij|ui))=E(h-1($h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$hui= $$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$$ menos que trivialmente a função de link seja o link de identidade (modelo linear ) ou (sem efeitos aleatórios). Bons exemplos incluem equações de estimativa generalizada (GEE; Zeger, Liang e Albert, 1988) e modelos multiníveis marginalizados (Heagerty e Zeger, 2000).$h$$u_i=0$

Corrija-me se eu estiver errado aqui:

Conceitualmente, existem quatro efeitos possíveis: interceptação fixa, coeficiente fixo, interceptação aleatória, coeficiente aleatório. A maioria dos modelos de regressão são 'efeitos aleatórios'; portanto, eles têm interceptações e coeficientes aleatórios. O termo "efeito aleatório" entrou em uso em contraste com "efeito fixo".

'Efeito fixo' é quando uma variável afeta parte da amostra, mas não todas. A versão mais simples de um modelo de efeito fixo (conceitualmente) seria uma variável dummy, para um efeito fixo com um valor binário. Esses modelos têm uma única interceptação aleatória, coeficientes de efeito fixo e coeficientes variáveis ​​aleatórios.

O próximo nível de complicação (conceitualmente) é quando o efeito fixo não é binário, mas nominal, com muitos valores. Nesse caso, o que é gerado é um modelo com muitas interceptações (uma para cada um dos valores nominais). É aqui que você obtém as 'múltiplas linhas' clássicas de um modelo de dados em painel , onde cada uma das 'opções' de uma variável de efeito fixo obtém seu próprio efeito. A virtude de jogar todas as diferentes séries de dados específicas de fatores em uma única regressão (em vez de fazer cada fator do efeito fixo como sua própria regressão) é que você consegue agrupar a variação de todos os diferentes efeitos em uma equação e, portanto, obtenha melhores (mais certos) valores para todos os seus coeficientes.

O 'nível três' de complicação seria quando o 'efeito fixo' for em si uma variável aleatória, exceto que seus efeitos são 'fixos' para afetar apenas um subconjunto da amostra. Nesse ponto, o modelo teria uma interceptação aleatória, várias interceptações fixas e várias variáveis ​​aleatórias. Eu acho que isso é o que é conhecido como modelo de 'efeitos mistos'?

Os modelos de 'efeito misto' são usados ​​para modelagem de vários níveis (MLM), pois os 'efeitos fixos' podem ser usados ​​para aninhar um subconjunto de dados dentro de outro. Esse agrupamento pode ter várias camadas, com os alunos aninhados nas salas de aula, aninhados nas escolas. A escola é um efeito fixo nas salas de aula e nos alunos. (A escola pode ou não ter um efeito fixo no aluno, dependendo do desenho experimental - não tenho certeza)

Os modelos de dados em painel são modelos de 'efeito misto', mas usam duas dimensões para agrupar, geralmente tempo e algum tipo de categoria.