Em termos simples, como você explicaria (talvez com exemplos simples) a diferença entre modelos de efeito fixo, efeito aleatório e efeito misto?

O estatístico Andrew Gelman diz que os termos 'efeito fixo' e 'efeito aleatório' têm significados variáveis, dependendo de quem os usa. Talvez você possa escolher qual das 5 definições se aplica ao seu caso. Em geral, pode ser melhor procurar equações que descrevam o modelo de probabilidade que os autores estão usando (ao ler) ou escrever o modelo de probabilidade completo que você deseja usar (ao escrever).

Aqui descrevemos cinco definições que vimos:

1. Efeitos fixos são constantes entre indivíduos e efeitos aleatórios variam. Por exemplo, em um estudo de crescimento, um modelo com interceptação aleatória e inclinação fixa corresponde a linhas paralelas para diferentes indivíduos , ou o modelo . Kreft e De Leeuw (1998) distinguem, portanto, entre coeficientes fixos e aleatórios. b i y i t = a i + b $a_i$$b$$i$$y_{it} = a_i + b t$

2. Os efeitos são fixos se forem interessantes em si ou aleatórios se houver interesse na população subjacente. Searle, Casella e McCulloch (1992, Seção 1.4) exploram essa distinção em profundidade.

3. “Quando uma amostra esgota a população, a variável correspondente é fixa; quando a amostra é uma parte pequena (ou seja, insignificante) da população, a variável correspondente é aleatória. ”(Green e Tukey, 1960)

4. “Se um efeito é assumido como um valor realizado de uma variável aleatória, é chamado efeito aleatório.” (LaMotte, 1983)

5. Os efeitos fixos são estimados usando mínimos quadrados (ou, mais geralmente, máxima verossimilhança) e efeitos aleatórios são estimados com o encolhimento ("previsão imparcial linear" na terminologia de Robinson, 1991). Essa definição é padrão na literatura de modelagem multinível (ver, por exemplo, Snijders e Bosker, 1999, Seção 4.2) e em econometria.

[ Gelman, 2004, Análise de variância - por que é mais importante do que nunca. Os Anais de Estatística. ]

Existem bons livros sobre isso, como Gelman e Hill . O que se segue é essencialmente um resumo de sua perspectiva.

Primeiro de tudo, você não deve ficar muito envolvido com a terminologia. Nas estatísticas, o jargão nunca deve ser usado como um substituto para uma compreensão matemática dos próprios modelos. Isso é especialmente verdadeiro para modelos de efeitos aleatórios e mistos. "Misto" significa apenas que o modelo tem efeitos fixos e aleatórios, então vamos nos concentrar na diferença entre fixo e aleatório.

Efeitos aleatórios versus efeitos fixos

Digamos que você tenha um modelo com um preditor categórico, que divide suas observações em grupos de acordo com os valores da categoria. * Os coeficientes do modelo, ou "efeitos", associados a esse preditor podem ser fixos ou aleatórios. A diferença prática mais importante entre os dois é esta:

Efeitos aleatórios são estimados com pool parcial, enquanto efeitos fixos não são.

O agrupamento parcial significa que, se você tiver poucos pontos de dados em um grupo, a estimativa do efeito do grupo será parcialmente baseada nos dados mais abundantes de outros grupos. Esse pode ser um bom compromisso entre estimar um efeito, agrupando completamente todos os grupos, que mascara a variação no nível do grupo e estimando um efeito para todos os grupos completamente separadamente, o que pode fornecer estimativas ruins para grupos de baixa amostra.

Efeitos aleatórios são simplesmente a extensão da técnica de pool parcial como modelo estatístico de uso geral. Isso permite a aplicação da ideia por princípios a uma ampla variedade de situações, incluindo múltiplos preditores, variáveis ​​contínuas e categóricas mistas e estruturas de correlação complexas. (Mas com grande poder vem uma grande responsabilidade: a complexidade da modelagem e da inferência é substancialmente aumentada e pode dar origem a preconceitos sutis que exigem considerável sofisticação para serem evitados.)

Para motivar o modelo de efeitos aleatórios, pergunte-se: por que você faria um pool parcial? Provavelmente porque você acha que os pequenos subgrupos fazem parte de algum grupo maior com um efeito médio comum. As médias do subgrupo podem se desviar um pouco da média do grande grupo, mas não por um valor arbitrário. Para formalizar essa idéia, postulamos que os desvios seguem uma distribuição, tipicamente gaussiana. É aí que entra o "aleatório" nos efeitos aleatórios: estamos assumindo que os desvios dos subgrupos de um pai seguem a distribuição de uma variável aleatória. Depois de ter essa ideia em mente, as equações do modelo de efeitos mistos seguem naturalmente.

$\ell_2$

Infelizmente, a confusão de conceito causada por esses termos levou a uma profusão de definições conflitantes . Das cinco definições neste link, apenas o número 4 está completamente correto no caso geral, mas também é completamente pouco informativo. Você precisa ler artigos e livros inteiros (ou, na sua falta, neste post) para entender o que essa definição implica no trabalho prático.

Exemplo

Vejamos um caso em que a modelagem de efeitos aleatórios pode ser útil. Suponha que você queira estimar a renda familiar média dos EUA por CEP. Você tem um grande conjunto de dados que contém observações sobre os rendimentos e códigos postais das famílias. Alguns códigos postais estão bem representados no conjunto de dados, mas outros têm apenas algumas famílias.

Para o seu modelo inicial, você provavelmente obteria a renda média em cada ZIP. Isso funcionará bem quando você tiver muitos dados para um ZIP, mas as estimativas para seus ZIPs com baixa amostra sofrerão uma alta variação. Você pode atenuar isso usando um estimador de retração (também conhecido como pool parcial), que empurrará valores extremos para a renda média em todos os códigos postais.

Mas quanto encolhimento / pool você deve fazer por um ZIP específico? Intuitivamente, deve depender do seguinte:

1. Quantas observações você tem nesse ZIP
2. Quantas observações você tem em geral
3. A nível individual média e variância da renda familiar em todos os códigos postais
4. A variação no nível do grupo na renda familiar média em todos os CEPs

Se você modelar o CEP como um efeito aleatório, a estimativa de renda média em todos os CEPs estará sujeita a um encolhimento estatisticamente bem fundamentado, levando em consideração todos os fatores acima.

A melhor parte é que os modelos de efeitos aleatórios e mistos manipulam automaticamente (4), a estimativa de variabilidade, para todos os efeitos aleatórios no modelo. Isso é mais difícil do que parece à primeira vista: você pode tentar a variação da média da amostra para cada ZIP, mas isso será altamente tendencioso, porque parte da variação entre as estimativas para ZIPs diferentes é apenas uma variação da amostra. Em um modelo de efeitos aleatórios, o processo de inferência considera a variação de amostra e reduz a estimativa de variação de acordo.

Tendo contabilizado (1) - (4), um modelo de efeitos aleatórios / mistos é capaz de determinar o encolhimento apropriado para grupos de amostras baixas. Ele também pode lidar com modelos muito mais complicados com muitos preditores diferentes.

Relação com a Modelagem Bayesiana Hierárquica

Se isso lhe parece uma modelagem bayesiana hierárquica, você está certo - é um parente próximo, mas não idêntico. Os modelos de efeitos mistos são hierárquicos, pois posicionam distribuições para parâmetros latentes e não observados, mas geralmente não são totalmente bayesianos porque os hiperparâmetros de nível superior não receberão os devidos antecedentes. Por exemplo, no exemplo acima, provavelmente trataríamos a renda média em um determinado ZIP como uma amostra de uma distribuição normal, com média e sigma desconhecidos a serem estimados pelo processo de ajuste de efeitos mistos. No entanto, um modelo de efeitos mistos (não Bayesiano) normalmente não terá um anterior na média e sigma desconhecidos, portanto, não é totalmente Bayesiano. Dito isto, com um conjunto de dados de tamanho decente, o modelo padrão de efeitos mistos e a variante totalmente bayesiana geralmente fornecerão resultados muito semelhantes.

* Enquanto muitos tratamentos deste tópico se concentram em uma definição restrita de "grupo", o conceito é de fato muito flexível: é apenas um conjunto de observações que compartilham uma propriedade comum. Um grupo pode ser composto de várias observações de uma única pessoa, ou várias pessoas em uma escola, ou várias escolas em um distrito, ou várias variedades de um único tipo de fruta, ou vários tipos de vegetais da mesma colheita, ou várias colheitas. do mesmo tipo de vegetal etc. Qualquer variável categórica pode ser usada como variável de agrupamento.

Escrevi sobre isso em um capítulo de livro sobre modelos mistos (capítulo 13 em Fox, Negrete-Yankelevich e Sosa 2014 ); as páginas relevantes (páginas 311-315) estão disponíveis no Google Livros . Eu acho que a pergunta se reduz a "quais são as definições de efeitos fixos e aleatórios?" (um "modelo misto" é apenas um modelo que contém os dois). Minha discussão diz um pouco menos sobre sua definição formal (para a qual eu recomendaria o artigo de Gelman vinculado pela resposta de @ JohnSalvatier acima) e mais sobre suas propriedades práticas e utilidade. Aqui estão alguns trechos:

A visão tradicional de efeitos aleatórios é uma maneira de fazer testes estatísticos corretos quando algumas observações são correlacionadas.

Também podemos pensar em efeitos aleatórios como uma maneira de combinar informações de diferentes níveis em uma variável de agrupamento.

Efeitos aleatórios são especialmente úteis quando temos (1) muitos níveis (por exemplo, muitas espécies ou blocos), (2) relativamente poucos dados em cada nível (embora precisemos de várias amostras da maioria dos níveis) e (3) desiguais amostragem entre níveis (caixa 13.1).

Frequentistas e bayesianos definem efeitos aleatórios de maneira um pouco diferente, o que afeta a maneira como os utilizam. Os freqüentistas definem efeitos aleatórios como variáveis ​​categóricas cujos níveis são escolhidos aleatoriamente em uma população maior, por exemplo, espécies escolhidas aleatoriamente a partir de uma lista de espécies endêmicas. Bayesianos definem efeitos aleatórios como conjuntos de variáveis ​​cujos parâmetros são [todos] desenhados a partir da mesma distribuição. A definição frequentista é filosoficamente coerente, e você encontrará pesquisadores (incluindo revisores e supervisores) que insistem nisso, mas pode ser praticamente problemático. Por exemplo, isso implica que você não pode usar espécies como efeito aleatório quando tiver observado todas as espécies em seu local de campo - já que a lista de espécies não é uma amostra de uma população maior - ou usar o ano como efeito aleatório, como os pesquisadores raramente realizam um experimento em anos amostrados aleatoriamente - geralmente usam uma série de anos consecutivos ou o conjunto aleatório de anos em que poderiam entrar em campo.

Efeitos aleatórios também podem ser descritos como variáveis ​​preditoras nas quais você está interessado em fazer inferências sobre a distribuição de valores (ou seja, a variação entre os valores da resposta em diferentes níveis), em vez de testar as diferenças de valores entre os níveis particulares.

Às vezes, as pessoas dizem que efeitos aleatórios são "fatores nos quais você não está interessado". Isso nem sempre é verdade. Embora geralmente seja o caso em experimentos ecológicos (onde a variação entre locais é geralmente apenas um incômodo), às vezes é de grande interesse, por exemplo, em estudos evolutivos em que a variação entre genótipos é a matéria-prima para a seleção natural ou em estudos demográficos onde a variação entre os anos reduz as taxas de crescimento a longo prazo. Em alguns casos, efeitos fixos também são usados ​​para controlar variações desinteressantes, por exemplo, usar a massa como covariável para controlar os efeitos do tamanho do corpo.

Você também ouvirá que "você não pode dizer nada sobre o valor (previsto) de um modo condicional". Isso também não é verdade - você também não pode testar formalmente uma hipótese nula de que o valor é igual a zero ou que o valor os valores de dois níveis diferentes são iguais, mas ainda é perfeitamente sensato olhar para o valor previsto e até calcular um erro padrão do valor previsto (por exemplo, consulte as barras de erro nos modos condicionais na figura 13.1).

$\textrm{species_mean} \sim {\cal N}(\textrm{genus_mean}, \sigma^2_{\textrm{species}})$

Eu disse acima que efeitos aleatórios são mais úteis quando a variável de agrupamento possui muitos níveis medidos. Por outro lado, os efeitos aleatórios geralmente são ineficazes quando a variável de agrupamento possui poucos níveis. Você geralmente não pode usar efeitos aleatórios quando a variável de agrupamento possui menos de cinco níveis, e as estimativas de variação de efeitos aleatórios são instáveis ​​com menos de oito níveis, porque você está tentando estimar uma variação de uma amostra muito pequena.

Efeito fixo: algo que o pesquisador manipula diretamente e geralmente é repetível, por exemplo, administração de medicamentos - um grupo recebe medicamento, um grupo recebe placebo.

Efeito aleatório: fonte de variação aleatória / unidades experimentais, por exemplo, indivíduos retirados (aleatoriamente) de uma população para um ensaio clínico. Efeitos aleatórios estimam a variabilidade

Efeito misto: inclui ambos, o efeito fixo nesses casos está estimando os coeficientes no nível da população, enquanto os efeitos aleatórios podem explicar diferenças individuais em resposta a um efeito, por exemplo, cada pessoa recebe o medicamento e o placebo em diferentes ocasiões, o efeito fixo. effect estima o efeito da droga, os termos de efeitos aleatórios permitiriam que cada pessoa respondesse à droga de maneira diferente.

Categorias gerais de efeitos mistos - medidas repetidas, longitudinal, hierárquica, plotagem dividida.

Eu vim para esta pergunta a partir daqui , uma possível duplicata.

Já existem várias respostas excelentes, mas, como indicado na resposta aceita, existem muitos usos diferentes (mas relacionados) do termo, portanto, pode ser valioso dar a perspectiva empregada na econometria, que ainda não parece ser totalmente abordada aqui. .

$$y_{it}=X_{it}\delta+\alpha_i+\eta_{it},$$ $\alpha_i$$\eta_{it}$

$\alpha_i$

$\alpha_i$$X_{it}$$Cov(\alpha_i,X_{it})=0$

$y$$X$$y_{it}$$X_{it}$

$\alpha_i$$X_{it}$$i$$X_{it}=0$$X_{it}$

$\delta$$t$$\alpha_i$$X_{it}$

$T$m

Aqui está o código que gera os dados e que produz uma estimativa de ER positiva e uma estimativa de FE negativa "correta". (Dito isto, as estimativas de ER também frequentemente serão negativas para outras sementes, veja acima.)

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

A saída:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

A distinção é significativa apenas no contexto de estatísticas não bayesianas. Nas estatísticas bayesianas, todos os parâmetros do modelo são "aleatórios".

Em econometria, os termos são normalmente aplicados em modelos lineares generalizados, em que o modelo tem a forma

$$y_{it} = g(x_{it} \beta + \alpha_i + u_{it}).$$

$\alpha_i \perp u_{it}$

$\alpha_i \not \perp u_{it}$

Em modelos lineares , a presença de um efeito aleatório não resulta em inconsistência do estimador OLS. No entanto, o uso de um estimador de efeitos aleatórios (como mínimos quadrados generalizados viáveis) resultará em um estimador mais eficiente .

Em modelos não lineares , como probit, tobit, ..., a presença de um efeito aleatório resultará, em geral, em um estimador inconsistente. O uso de um estimador de efeitos aleatórios restaurará a consistência.

Para modelos lineares e não lineares, efeitos fixos resultam em um viés. No entanto, em modelos lineares, existem transformações que podem ser usadas (como primeiras diferenças ou degradação), em que o OLS nos dados transformados resultará em estimativas consistentes. Para modelos não lineares, existem algumas exceções em que existem transformações, com efeitos fixos no logit sendo um exemplo.

Exemplo: Probit de efeitos aleatórios. Suponha

$$y^*_{it} = x_{it} \beta + \alpha_i + u_{it}, \quad \alpha_i \sim \mathcal{N}(0,\sigma_\alpha^2), u_{it} \sim \mathcal{N}(0,1).$$

e o resultado observado é

$$y_{it} = \mathbb{1}(y^*_{it} > 0).$$

O estimador de probabilidade máxima combinada minimiza a média amostral de

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \prod_{t=1}^T [G(x_{it}\beta)]^{y_{it}} [1 - G(x_{it}\beta)] ^{1-y_{it}}.$$

Obviamente, aqui o log e o produto simplificam, mas por razões pedagógicas, isso torna a equação mais comparável ao estimador de efeitos aleatórios, que tem a forma

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log \int \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}} \phi(a) \mathrm{d}a.$$

Podemos, por exemplo, aproximar a integral por meio de randomização, retirando de normais normais e avaliando a probabilidade de cada uma.$R$

$$\hat{\beta} = \arg \min_\beta N^{-1} \sum_{i=1}^N \log R^{-1} \sum_{r=1}^R \prod_{t=1}^T [G(x_{it}\beta + \sigma_\alpha a_r)]^{y_{it}} [1 - G(x_{it}\beta + \sigma_\alpha a )] ^{1-y_{it}},\quad a_r \sim \mathcal{N}(0,1).$$

A intuição é a seguinte: não sabemos que tipo , cada observação é. Em vez disso, avaliamos o produto das probabilidades ao longo do tempo para uma sequência de empates. O tipo mais provável de observação terá a maior probabilidade em todos os períodos e, portanto, dominará a contribuição da probabilidade para a sequência das observações.$\alpha_i$$i$$T$

Não é realmente uma definição formal, mas eu gosto dos seguintes slides: Modelos mistos e por que os sociolinguistas devem usá-los ( espelho ), de Daniel Ezra Johnson. Uma breve recapitulação 'é oferecida no slide 4. Embora se concentre principalmente em estudos psicolinguísticos, é muito útil como primeiro passo.

Outra perspectiva muito prática sobre modelos de efeitos aleatórios e fixos vem da econometria ao fazer regressões lineares nos dados do painel . Se você estiver estimando a associação entre uma variável explicativa e uma variável de resultado em um conjunto de dados com várias amostras por indivíduo / grupo, essa é a estrutura que você deseja usar.

Um bom exemplo de dados em painel são medições anuais de um conjunto de indivíduos de:

• $gender_i$ (sexo da ésima pessoa)$i$
• ${\Delta}weight_{it}$ (alteração de peso durante o ano para a pessoa )$t$$i$
• $exercise_{it}$ (exercício diário médio durante o ano para a pessoa )$t$$i$

Se estamos tentando entender a relação entre exercício e mudança de peso, configuraremos a seguinte regressão:

e x e r c i s de e i t + β 1 g e n d e r i + α i + ε i ${\Delta}weight_{it} = \beta_0$$exercise_{it} + \beta_1gender_i + \alpha_i + \epsilon_{it}$

• $\beta_0$ é a quantidade de interesse
• $\beta_1$ não é interessante, estamos apenas controlando o sexo com ela
• $\alpha_i$ é a interceptação por indivíduo
• $\epsilon_{it}$ é o termo do erro

Em uma configuração como esta, há o risco de endogeneidade. Isso pode acontecer quando variáveis ​​não medidas (como estado civil) estão associadas a exercícios e mudanças de peso. Conforme explicado na p.16 nesta palestra em Princeton , um modelo de efeitos aleatórios (efeitos mistos AKA) é mais eficiente que um modelo de efeitos fixos. No entanto, atribuirá incorretamente parte do efeito da variável não medida na mudança de peso ao exercício, produzindo um incorreto e potencialmente uma significância estatística mais alta do que a válida. Nesse caso, o modelo de efeitos aleatórios não é um estimador consistente de .β $\beta_0$$\beta_0$

Um modelo de efeitos fixos (em sua forma mais básica) controla todas as variáveis ​​não medidas que são constantes ao longo do tempo, mas variam entre indivíduos, incluindo explicitamente um termo de interceptação separado para cada indivíduo ( ) na equação de regressão. Em nosso exemplo, ele controlará automaticamente os efeitos de confusão do gênero, bem como os fatores de confusão não medidos (estado civil, status socioeconômico, escolaridade, etc.). De fato, o gênero não pode ser incluído na regressão e não pode ser estimado por um modelo de efeitos fixos, pois é colinear com os 's.p 1 g e n d e r i ct $\alpha_i$$\beta_1$$gender_i$$\alpha_i$

Portanto, a questão principal é determinar qual modelo é apropriado. A resposta é o teste de Hausman . Para usá-lo, realizamos a regressão de efeitos fixos e aleatórios e, em seguida, aplicamos o Teste de Hausman para verificar se suas estimativas de coeficiente divergem significativamente. Se eles divergem, a endogeneidade está em jogo e um modelo de efeitos fixos é a melhor escolha. Caso contrário, iremos com efeitos aleatórios.