Como exatamente um “modelo de efeitos aleatórios” em econometria se relaciona com modelos mistos fora da econometria?


56

Eu costumava pensar que "modelo de efeitos aleatórios" em econometria corresponde a um "modelo misto com interceptação aleatória" fora da econometria, mas agora não tenho certeza. Faz isso?

A econometria usa termos como "efeitos fixos" e "efeitos aleatórios", diferentemente da literatura sobre modelos mistos, e isso causa uma confusão notória. Vamos considerar uma situação simples em que y depende linearmente de x mas com uma interceptação diferente em diferentes grupos de medidas:

yit=βxit+ui+ϵit.

Aqui cada unidade / grupo i é observado em diferentes pontos no tempo t . Os economometristas chamam de "dados em painel".

  • Na terminologia modelos mistos, podemos tratar ui como um efeito fixo ou como um efeito aleatório (neste caso, é interceptar aleatório). Tratando-a como meios fixos correspondentes ao β e u i a minimizar o erro quadrado (isto é, em execução regressão OLS com variáveis do grupo simulado). Tratando-a como meios aleatórios que adicionalmente assumir que u i ~ N ( u 0 , σ 2 L ) e a utilização de probabilidade máxima para caber u 0 e σ 2 u em vez de encaixe cada u iβ^u^iuiN(u0,σu2)u0σu2uisozinho. Isso leva ao efeito "parcial pooling", onde as estimativas u i se encolheu em direção a sua média u 0 .u^iu^0

    R formula when treating group as fixed:    y ~ x + group
    R formula when treating group as random:   y ~ x + (1|group)
  • Na terminologia econométrica, podemos tratar todo esse modelo como um modelo de efeitos fixos ou como um modelo de efeitos aleatórios. A primeira opção é equivalente ao efeito fixo acima (mas a econometria tem seu próprio modo de estimar β , neste caso, chamado "within" estimator). Eu costumava pensar que a segunda opção é equivalente ao efeito aleatório acima; eg @JiebiaoWang em sua resposta altamente votada para Qual é a diferença entre efeitos aleatórios, efeitos fixos e modelo marginal? diz que

    Em econometria, o modelo de efeitos aleatórios pode se referir apenas ao modelo de interceptação aleatória como em bioestatística

Ok --- vamos testar se esse entendimento está correto. Aqui estão alguns dados aleatórios gerados por @ChristophHanck em sua resposta a Qual é a diferença entre modelos de efeito fixo, efeito aleatório e efeito misto? (Coloquei os dados aqui no pastebin para quem não usa R):

insira a descrição da imagem aqui

O @Christoph faz dois ajustes usando abordagens econométricas:

fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

O primeiro produz a estimativa de beta igual a -1.0451, o segundo 0.77031(sim, positivo!). Eu tentei reproduzi-lo com lme lmer:

l1 = lm(stackY ~ stackX + as.factor(unit), data = paneldata)
l2 = lmer(stackY ~ stackX + (1|as.factor(unit)), data = paneldata)

O primeiro cede -1.045em perfeita concordância com o estimador interno acima. Legal. Mas o segundo produz -1.026, que está a quilômetros de distância do estimador de efeitos aleatórios. Heh? O que está acontecendo? Na verdade, o que está plmmesmo fazendo , quando chamado com model = "random"?

O que quer que esteja fazendo, alguém pode entendê-lo de alguma forma através da perspectiva de modelos mistos?

E qual é a intuição por trás do que está fazendo? Li em alguns lugares econométricos que o estimador de efeitos aleatórios é uma média ponderada entre o estimador de efeitos fixos e o "between" estimatorque é mais ou menos uma inclinação de regressão se não incluirmos a identidade do grupo no modelo (essa estimativa é fortemente positiva neste caso, por aí 4.) Por exemplo, @Andy escreve aqui :

O estimador de efeitos aleatórios usa uma média ponderada da matriz da variação interna e entre os dados. [...] Isso torna os efeitos aleatórios mais eficientes [.]

Por quê? Por que queremos essa média ponderada? E, em particular, por que o desejaríamos em vez de executar um modelo misto?


8
Uau, mais de 20 votos positivos e seis respostas esclarecedoras em menos de 24 horas, mas todos eles se concentram no lado econométrico do pensamento. Até agora, nenhuma resposta faz conexão com modelos mistos.
Ameba diz Reinstate Monica


Respostas:


16

Resumo: o "modelo de efeitos aleatórios" em econometria e um "modelo misto de interceptação aleatória" são de fato os mesmos modelos, mas são estimados de maneiras diferentes. A maneira econométrica é usar o FGLS, e a maneira do modelo misto é usar o ML. Existem algoritmos diferentes para executar o FGLS, e alguns deles (neste conjunto de dados) produzem resultados muito próximos ao ML.


1. Diferenças entre métodos de estimativa em plm

Vou responder com meus testes em plm(..., model = "random")e lmer(), usando os dados gerados por @ChristophHanck.

De acordo com o manual do pacote plm , existem quatro opções para random.method: o método de estimativa para os componentes de variância no modelo de efeitos aleatórios. @amoeba usou o padrão swar(Swamy e Arora, 1972).

Para modelos de efeitos aleatórios, quatro estimadores do parâmetro de transformação estão disponíveis configurando random.method para um de "swar" (Swamy e Arora (1972)) (padrão), "amemiya" (Amemiya (1971)), "walhus" ( Wallace e Hussain (1969)), ou "nerlove" (Nerlove (1971)).

Testei todas as quatro opções usando os mesmos dados, obtendo um erroamemiya e três estimativas de coeficiente totalmente diferentes para a variável stackX. Os que usam random.method='nerlove'e 'amemiya' são quase equivalentes aos de lmer()-1.029 e -1.025 vs -1.026. Eles também não são muito diferentes do obtido no modelo "efeitos fixos" -1,045.

# "amemiya" only works using the most recent version:
# install.packages("plm", repos="http://R-Forge.R-project.org")

re0 <- plm(stackY~stackX, data = paneldata, model = "random") #random.method='swar'
re1 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='amemiya')
re2 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='walhus')
re3 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='nerlove')
l2  <- lmer(stackY~stackX+(1|as.factor(unit)), data = paneldata)

coef(re0)     #    (Intercept)   stackX    18.3458553   0.7703073 
coef(re1)     #    (Intercept)   stackX    30.217721   -1.025186 
coef(re2)     #    (Intercept)   stackX    -1.15584     3.71973 
coef(re3)     #    (Intercept)   stackX    30.243678   -1.029111 
fixef(l2)     #    (Intercept)   stackX    30.226295   -1.026482 

Infelizmente, não tenho tempo no momento, mas os leitores interessados ​​podem encontrar as quatro referências para verificar seus procedimentos de estimativa. Seria muito útil descobrir por que eles fazem essa diferença. Espero que, em alguns casos, o plmprocedimento de estimativa usando os lm()dados transformados seja equivalente ao procedimento de máxima verossimilhança utilizado no lmer().

2. Comparação entre GLS e ML

Os autores do plmpacote compararam os dois na Seção 7 de seu artigo: Yves Croissant e Giovanni Millo, 2008, Panel Data Econometrics in R: The plm package .

A econometria lida principalmente com dados não experimentais. Grande ênfase é colocada nos procedimentos de especificação e no teste de especificação incorreta. As especificações do modelo tendem, portanto, a ser muito simples, enquanto uma grande atenção é dada às questões de endogeneidade dos regressores, estruturas de dependência nos erros e robustez dos estimadores em desvios da normalidade. A abordagem preferida é frequentemente semi ou não paramétrica, e técnicas consistentes de heterocedasticidade estão se tornando uma prática padrão tanto na estimativa quanto no teste.

Por todas essas razões, a [...] estimativa do modelo de painel em econometria é realizada principalmente na estrutura de mínimos quadrados generalizada com base no Teorema de Aitken. Pelo contrário, os modelos de dados longitudinais nlmee lme4são estimados pela máxima verossimilhança (restrita ou irrestrita). [...]

A abordagem econométrica do GLS possui soluções analíticas de formulário fechado computáveis ​​pela álgebra linear padrão e, embora o último possa às vezes ficar pesado computacionalmente na máquina, as expressões para os estimadores são geralmente bastante simples. A estimativa ML de modelos longitudinais, pelo contrário, baseia-se na otimização numérica de funções não lineares sem soluções de forma fechada e, portanto, depende de aproximações e critérios de convergência.


3. Atualização em modelos mistos

Compreendo que o @ChristophHanck forneceu uma introdução completa sobre os quatro random.methodusados plme explicou por que suas estimativas são tão diferentes. Conforme solicitado por @amoeba, acrescentarei algumas reflexões sobre os modelos mistos (baseados em probabilidade) e sua conexão com o GLS.

T=ni

O modelo é com .

yit=xitβ+ηi+ϵiti=1,,m,t=1,,ni
ηiN(0,ση2),ϵitN(0,σϵ2)

Para cada , Portanto, a função de probabilidade do log éi

yiN(Xiβ,Σi),Σi=ση21ni1ni+σϵ2Ini.
const12ilog|Σi|12i(yiXiβ)Σi1(yiXiβ).

Quando todas as variações são conhecidas, como mostrado em Laird e Ware (1982), o MLE é que é equivalente ao GLS derivado por @ChristophHanck. Portanto, a principal diferença está na estimativa das variações. Dado que não há uma solução fechada, existem várias abordagens:βRE

β^=(iXiΣi1Xi)1(iXiΣi1yi),
β^RE
  • maximização direta da função de probabilidade de log usando algoritmos de otimização;
  • Algoritmo Expectativa-Maximização (EM): existem soluções de forma fechada, mas o estimador para envolve estimativas empíricas bayesianas da interceptação aleatória;β
  • uma combinação dos dois algoritmos acima, Expectativa / Maximização Condicional (ECME) (Schafer, 1998; pacote R lmm). Com uma parametrização diferente, existem soluções em formato fechado para (como acima) e . A solução para pode ser escrita como onde é definido como e pode ser estimado em uma estrutura EM.βσϵ2σϵ2
    σϵ2=1inii(yiXiβ^)(ξ^1ni1ni+Ini)1(yiXiβ^),
    ξση2/σϵ2

Em resumo, o MLE possui premissas de distribuição e é estimado em um algoritmo iterativo. A principal diferença entre MLE e GLS está na estimativa para as variações.

Croissant e Millo (2008) apontaram que

Enquanto sob normalidade, a homocedasticidade e nenhuma correlação serial dos erros OLS também são o estimador de probabilidade máxima, em todos os outros casos existem diferenças importantes.

Na minha opinião, para a suposição de distribuição, assim como a diferença entre as abordagens paramétricas e não paramétricas, o MLE seria mais eficiente quando a suposição é válida, enquanto o GLS seria mais robusto.


Eu suspeitaria que o problema com a mensagem de erro esteja de alguma forma relacionado à geração de variáveis ​​como vetores? Talvez o plm prefira que os dados sejam armazenados de forma diferente?
Christoph Hanck

11
nerlovefunciona bem aqui, mas não é implementado para painéis desequilibrados, como descobri excluindo uma observação do último painel e tentando executar todos os métodos.
Ameba diz Reinstate Monica

2
@ChristophHanck @amoeba Ocorre-me o plmerro de random.method="amemiya"que eles provavelmente deveriam usar em X[, -1, drop=FALSE]vez de X[, -1]manter o formato de matriz de X[, -1]quando há apenas uma covariável no modelo. Enfim, tentei superar isso adicionando uma variável normal padrão à fórmula. amemiyareproduz o resultado com uma estimativa de -1,02 e funciona também para dados desequilibrados.
Randel

3
@ jiebiao-wang @ChristophHanck @amoeba a versão atual do PLM desenvolvimento funciona bem com random.method="amemiya": var share std.dev idiossincrática 0,6360 0,7975 0,002 indivíduo 313,6510 17,7102 0,998 theta: 0,9841
Helix123

11
Olá @JiebiaoWang. Imaginei que, após a sua atualização, sua resposta respondeu satisfatoriamente à minha pergunta. Tomei a liberdade de fazer algumas edições e inserir uma atualização amemiyae uma citação no ML vs GLS. Estou marcando como aceito e vou conceder uma recompensa. Felicidades.
Ameba diz Reinstate Monica

17

Essa resposta não comenta modelos mistos, mas posso explicar o que o estimador de efeitos aleatórios faz e por que ele estraga esse gráfico.

Resumo: o estimador de efeitos aleatórios assume , o que não é verdade neste exemplo.E[uix]=0


O que o estimador de efeitos aleatórios está fazendo?

Suponha que temos o modelo:

yit=βxit+ui+ϵit

Temos duas dimensões de variação: grupos tempo . Para estimar , poderíamos:itβ

  1. Use apenas variações de séries temporais dentro de um grupo. É isso que o estimador de efeito fixo faz (e é por isso que também é chamado de estimador interno).
  2. Se for aleatório, poderíamos usar apenas variação transversal entre as médias de séries temporais dos grupos. Isso é conhecido como estimador intermediário .ui

    Especificamente, para cada grupo , calcule a média ao longo do tempo do modelo de dados do painel acima para obter:i

    y¯i=βx¯i+vi where vi=ui+ϵ¯i

    Se executarmos essa regressão, obteremos o estimador intermediário. Observe que é um estimador consistente se os efeitos forem ruídos brancos aleatórios, não correlacionados com ! Se for esse o caso, lançar completamente a variação entre grupos (como fazemos com o estimador de efeitos fixos) é ineficiente.uix

O estimador de efeitos aleatórios da econometria combina o (1) estimador dentro (estimador de efeitos fixos) e (2) o estimador intermediário de forma a maximizar a eficiência. É uma aplicação de mínimos quadrados generalizados e a ideia básica é a ponderação inversa da variância . Para maximizar a eficiência, o estimador de efeitos aleatórios calcula como uma média ponderada do estimador interno e entre o estimador.β^

O que está acontecendo nesse gráfico ...

Apenas observando esse gráfico, você pode ver claramente o que está acontecendo:

  • Dentro de cada grupo (isto é, pontos da mesma cor), um mais alto é associado a um maisixityit
  • Um grupo com mais alto tem mais .ix¯iui

Os efeitos aleatórios pressupõem que claramente não está satisfeito. Os efeitos não são ortogonais a (no sentido estatístico); pelo contrário, os efeitos grupais têm uma clara relação positiva com .E[uix]=0uixx

O estimador entre assume . O estimador entre diz: "com certeza eu posso impor , tornando positivo!"E[uix]=0E[uix]=0β^

Por sua vez, o estimador de efeitos aleatórios está desativado porque é uma média ponderada do estimador interno e do estimador intermediário.


+1, obrigado Matthew. Não sei por que alguém rebaixou sua resposta. Estou procurando uma resposta que estabeleça a conexão com modelos mistos para não aceitar a sua, mas ainda acho útil para esta discussão. Se você puder expandir um pouco sobre como o GLS e a ponderação de variância inversa são aplicados e computados aqui, seria muito útil.
Ameba diz Reinstate Monica

16

Nesta resposta, eu gostaria de elaborar um pouco da resposta +1 de Matthew em relação à perspectiva do GLS sobre o que a literatura econométrica chama de estimador de efeitos aleatórios.

Perspectiva GLS

Considere o modelo linear Se sustentasse que , poderíamos simplesmente estimar o modelo por OLS agrupado , o que significa ignorar a estrutura de dados do painel e simplesmente agrupar todas as observações juntas .

yit=α+Xitβ+uiti=1,,m,t=1,,T
E(uit|Xit)=0n=mT

o usando o modelo de componente de errouit

uit=ηi+ϵit

Na notação matricial, o modelo pode ser escrito como que e são vetores com características típicas elementos e , e é uma matriz (uma coluna por unidade) de variáveis ​​dummy. é tal que, se uma linha corresponde a uma observação pertencente à unidade , então possui uma na coluna 0, .

y=αιmT+Xβ+Dη+ϵ
yϵnyitϵitDn×mDiDii=1,,m

Além disso, assumimos

E(ϵϵ)=σϵ2I

Os efeitos específicos do indivíduo devem ser independentes do . O estimador de efeitos aleatórios, diferentemente dos efeitos fixos (novamente, terminologia econométrica), exige adicionalmente a suposição mais forte de que Sob essa suposição, agrupamos O OLS seria imparcial, mas podemos derivar um estimador GLS. Suponha que o seja o com zero médio e variação .ηϵit

E(ηi|X)=0
ηiση2

Essa suposição explica o termo efeitos aleatórios . Supondo, além disso, que os dois componentes de erro são independentes, é fácil ver que

Var(uit)=ση2+σϵ2Cov(uit,uis)=ση2Cov(uit,ujs)=0for all ij

Em seguida, obtemos as seguintes matriz de variância-covariância : Aqui, com um vetor de uns. Portanto, podemos escrever Para o estimador GLS exigimos . Para esse fim, deixe ,n×nΩ

Ω=(ΣOOOΣOOOΣ)
Σ=ση2ιι+σϵ2IT
ιT
Ω=ση2(Imιι)+σϵ2(ImIT)
β^RE=(XΩ1X)1XΩ1y
Ω1JT=ιιJ¯T=JT/TET=ITJ¯T . Em seguida, escreva ou , coletando termos com as mesmas matrizes, Idempotência de e então nos permite mostrar que que .
Ω=Tση2(ImJ¯T)+σϵ2(ImET)+σϵ2(ImJ¯T)
Ω=(Tση2+σϵ2)(ImJ¯T)+σϵ2(ImET)
P=ImJ¯TQ=ImET
Ω1=1σ12P+1σϵ2Q=ση2σ12σϵ2(Imιι)+1σϵ2(ImIT),
σ12=Tση2+σϵ2

A lógica de Gauss-Markov explica por que o estimador de efeitos aleatórios pode ser útil, pois é um estimador mais eficiente que o OLS agrupado ou efeitos fixos sob as premissas fornecidas (desde que seja muito grande se em muitos aplicativos de dados em painel, são de fato não correlacionados com os regressores). Em suma, o GLS é mais eficiente porque a matriz de covariância de erro não é homosquástica neste modelo.ηi

Pode-se mostrar que a estimativa GLS pode ser obtida executando OLS nos dados parcialmente : onde . Para obtém-se o estimador de efeito fixo ("dentro"). Para obtém-se o estimador "entre". O estimador GLS é uma média ponderada entre os dois. (Para obtém-se o estimador OLS agrupado.)

(yitθy¯i)=(XitθX¯i)β+(uitθui),
θ=1ση/σ1θ=1θθ=0

GLS viável

Para tornar prática uma abordagem do FGLS, exigimos estimadores de e . Baltagi, Análise Econométrica de Dados em Painel, p. 16 (citando a 3ª edição), discute as seguintes opções sobre como proceder.σ12σϵ2

Suponha primeiro que observemos . Então,uit

σ^12=T1mi=1mu¯i2
e seriam bons estimadores de seus parâmetros, com a média de tempo correspondente às observações da unidade .
σ^ϵ2=1m(T1)i=1mt=1T(uit1mi=1mu¯i)2
u¯ii

A abordagem de Wallace e Hussein (1969) consiste em substituir por resíduos de uma regressão OLS combinada (que, afinal, ainda é imparcial e consistente sob as atuais premissas).u

A abordagem de Amemiya (1971) sugere o uso de resíduos de FE (ou LSDV). Como uma questão computacional, impomos a restrição de que para contornar a interceptação de variável fictícia, de modo a obter com denotando médias grandes mais de e para os resíduos LSDV .iηi=0α^=y¯X¯β^FEitu^=yα^Xβ^FE

A abordagem padrão de Swamy e Arora (1972) estima e Aqui, .

σ^ϵ2=[yQ(IX(XQX)1XQ)y]/[m(T1)K]
σ^12=[yP(IZ(ZPX)1ZP)y]/[mK1]
Z=(ιmTX)

A abordagem de Nerlove (1971) estima de onde são manequins a partir de uma regressão de efeitos fixos e é estimado a partir da soma residual de quadrados dessa regressão, com no denominador.ση2i=1m(η^iη^¯)2/(m1)η^iσ^ϵ2mT

Também estou muito surpreso que isso faça uma diferença tão grande, como mostra os cálculos de Randel!

EDITAR:

Com relação às diferenças, as estimativas dos componentes do erro podem ser recuperadas no plmpacote e, na verdade, retornam resultados muito diferentes, explicando a diferença nas estimativas pontuais para (conforme a resposta de @ Randel, gera um erro que eu não tentei consertar):βamemiya

> ercomp(stackY~stackX, data = paneldata, method = "walhus")
                  var std.dev share
idiosyncratic 21.0726  4.5905 0.981
individual     0.4071  0.6380 0.019
theta:  0.06933  
> ercomp(stackY~stackX, data = paneldata, method = "swar")
                 var std.dev share
idiosyncratic 0.6437  0.8023 0.229
individual    2.1732  1.4742 0.771
theta:  0.811  
> ercomp(stackY~stackX, data = paneldata, method = "nerlove")
                   var  std.dev share
idiosyncratic   0.5565   0.7460 0.002
individual    342.2514  18.5000 0.998
theta:  0.9857  

Suspeito que os estimadores dos componentes de erro também não sejam consistentes no meu exemplo no segmento irmão, onde pretendo demonstrar diferenças entre FE e ER usando dados em que os efeitos individuais e estão correlacionados. (De fato, eles não podem ser, porque acabam afastando a estimativa de ER da estimativa de EF conforme o fato de que ER é uma média ponderada de EF e entre a estimativa com pesos determinados pelas estimativas do componente de erro. Portanto, se ER não é consistente, que deve ser devido a essas estimativas.)X

Se você substituir o recurso "ofensivo" desse exemplo,

alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))

simplesmente, digamos,

alpha = runif(n)

para efeitos aleatórios não correlacionados com , você obtém estimativas de ponto RE para muito próximas do valor verdadeiro para todas as variantes de estimativa dos componentes de erro.Xββ=1


Referências

Amemiya, T., 1971, A estimativa das variações em um modelo de variação-componentes , International Economic Review 12, 1–13.

Baltagi, BH, Análise Econométrica de Dados em Painel, Wiley.

Nerlove, M., 1971a, Mais evidências sobre a estimativa de relações econômicas dinâmicas a partir de uma série temporal de seções transversais , Econometrica 39, 359-382.

Swamy, PAVB e SS Arora, 1972, As propriedades exatas da amostra finita dos estimadores de coeficientes nos modelos de regressão de componentes de erro , Econometrica 40, 261–275.

Wallace, TD e A. Hussain, 1969, O uso de modelos de componentes de erro na combinação de dados de seções transversais e séries temporais , Econometrica 37, 55-72.


4
+1. Obrigado Christoph, isso é útil e estou feliz por finalmente ver alguns detalhes matemáticos neste tópico. Seria ótimo verificar como os quatro métodos implementados plme listados por Randel funcionam e atualizar sua resposta com alguns comentários sobre ele. Se não as descrições detalhadas, pelo menos algumas breves notas sobre o que está acontecendo. Você acha que seria capaz de procurar? Fico feliz em oferecer uma recompensa por isso :-) Minha abordagem ingênua seria estimar os dois sigmas da solução de efeitos fixos. Corresponde a um dos métodos "nomeados"?
Ameba diz Reinstate Monica

@amoeba, incluí alguns comentários sobre como estimar as variações no modelo de componente de erro. Sua sugestão parece estar intimamente relacionada à de Amemiya.
Christoph Hanck

Muito bom, obrigado. Nerlove também não está usando regressão com manequins? Na verdade, eu não entendo bem qual é a diferença entre Amemiya e Nerlove. Minha sugestão "ingênua" era ajustar a regressão fictícia, usar a variação residual como uma estimativa de e usar a variação dos coeficientes fictícios como uma estimativa de . Parece que é isso que Nerlove está fazendo. Não sei se entendi o que Amemiya está fazendo e como é diferente. (E eu concordo que as enormes-mais dolorido resta saber por que esses métodos produzem tanta diferença um neste caso.)σϵση
ameba diz Reintegrar Monica

Sim, ambos usam regressão com manequins. Pelo que entendi, uma diferença entre Amemiya e Nerlove é o denominador dos graus de correção da liberdade. Outra é que não tenho certeza de que a variação dos coeficientes simulados estimados seja a mesma que a variação dos resíduos. Outro ponto crucial é que o Nerlove visa diretamente estimar , enquanto você precisaria fazer o backup da estimativa via para os outros três. , e uma desvantagem conhecida disso é que não há garantia de que eles não sejam negativos. ( σ 2 1 - σ 2 ε ) / tση2(σ^12σ^ϵ2)/T
Christoph Hanck

11
Obrigado. Fiz uma edição para fornecer uma fórmula mais explícita para ; convém verificar novamente (mas acho que está correto). Eu comecei uma recompensa que vou atribuir à sua resposta. No entanto, ainda estou procurando uma resposta que estabeleça uma conexão com modelos mistos, contraste GLS com MLE e explique por que e quando alguém deve preferir qual abordagem (nenhuma das respostas atuais faz isso, portanto, atualmente não há resposta que eu gostaria. marque como "aceito"). É interessante que o MLE (conforme implementado por ) produz estimativas de variação muito próximas das Nerlove. Ω1lmer
Ameba diz Reinstate Monica

11

Eu não estou realmente familiarizado com R para comentar sobre seu código, mas o modelo misto de interceptação aleatória simples deve ser idêntico ao estimador RE MLE e muito próximo ao estimador RE GLS, exceto quando o total for pequeno e os dados estão desequilibrados. Felizmente, isso será útil no diagnóstico do problema. Obviamente, isso tudo pressupõe que o estimador de ER seja apropriado.N=iTi

Aqui estão alguns Stata mostrando a equivalência (requer esttabe eststodo SSC):

set more off
estimates clear
webuse nlswork, clear
eststo, title(mixed): mixed ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure || id: // Mixed estimator
eststo, title(MLE): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) mle // MLE RE estimator 
eststo, title(GLS): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) re // GLS RE estimato
esttab *, b(a5) se(a5) mtitle 

Aqui está o resultado da última linha:

. esttab *, b(a5) se(a5) mtitle 

------------------------------------------------------------
                      (1)             (2)             (3)   
                    mixed             MLE             GLS   
------------------------------------------------------------
main                                                        
grade            0.070790***     0.070790***     0.070760***
              (0.0017957)     (0.0017957)     (0.0018336)   

age              0.031844***     0.031844***     0.031906***
              (0.0027201)     (0.0027202)     (0.0027146)   

c.age#c.age   -0.00065130***  -0.00065130***  -0.00065295***
             (0.000044965)    (0.000044971)    (0.000044880)   

ttl_exp          0.035228***     0.035228***     0.035334***
              (0.0011382)     (0.0011392)     (0.0011446)   

tenure           0.037134***     0.037134***     0.037019***
              (0.0015715)     (0.0015723)     (0.0015681)   

c.tenure#c~e   -0.0018382***   -0.0018382***   -0.0018387***
             (0.00010128)    (0.00010128)    (0.00010108)   

_cons             0.14721***      0.14721***      0.14691** 
               (0.044725)      (0.044725)      (0.044928)   
------------------------------------------------------------
lns1_1_1                                                    
_cons            -1.31847***                                
               (0.013546)                                   
------------------------------------------------------------
lnsig_e                                                     
_cons            -1.23024***                                
              (0.0046256)                                   
------------------------------------------------------------
sigma_u                                                     
_cons                             0.26754***                
                              (0.0036240)                   
------------------------------------------------------------
sigma_e                                                     
_cons                             0.29222***                
                              (0.0013517)                   
------------------------------------------------------------
N                   28099           28099           28099   
------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

Nos seus dados, as suposições para o uso do estimador de ER não são satisfeitas, pois o efeito do grupo está claramente correlacionado com x, portanto, você obtém estimativas muito diferentes. O estimador GLS RE, na verdade, é um estimador de método generalizado de momentos (GMM) que é uma média ponderada por matriz dos estimadores entre e dentro dos estimadores. O estimador interno ficará bem aqui, mas o intermediário será profundamente ferrado, mostrando grandes efeitos positivos de X. Portanto, o GLS será principalmente o estimador intermediário. O MLE RE é um MLE que maximiza a probabilidade do modelo de efeitos aleatórios. Não é mais esperado que eles produzam a mesma resposta. Aqui, o estimador misto está dando algo muito próximo ao estimador "dentro" da FE:

. esttab *, b(a5) se(a5) mtitle 

----------------------------------------------------------------------------
                      (1)             (2)             (3)             (4)   
                    mixed             GLS             MLE          Within   
----------------------------------------------------------------------------
main                                                                        
x                -1.02502***      0.77031**       3.37983***     -1.04507***
               (0.092425)       (0.26346)       (0.20635)      (0.093136)   

_cons             30.2166***      18.3459***      0.49507         30.3492***
                (5.12978)       (2.31566)             (.)       (0.62124)   
----------------------------------------------------------------------------
lns1_1_1                                                                    
_cons             2.87024***                                                
                (0.20498)                                                   
----------------------------------------------------------------------------
lnsig_e                                                                     
_cons            -0.22598**                                                 
               (0.077195)                                                   
----------------------------------------------------------------------------
sigma_u                                                                     
_cons                                             2.40363                   
                                                (1.28929)                   
----------------------------------------------------------------------------
sigma_e                                                                     
_cons                                             4.23472***                
                                                (0.37819)                   
----------------------------------------------------------------------------
N                      96              96              96              96   
----------------------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

Aqui está o código Stata para a tabela acima:

clear
set more off
estimates clear

input int(obs id t) double(y x)
1      1           1  2.669271  0.5866982
2      1           2  1.475540  1.3500454
3      1           3  4.430008  0.6830919
4      1           4  2.162789  0.5845966
5      1           5  2.678108  1.0038879
6      1           6  3.456636  0.5863289
7      1           7  1.769204  2.3375403
8      1           8  3.413790  0.9640034
9      2           1  4.017493  1.5084121
10     2           2  4.218733  2.8982499
11     2           3  4.509530  3.2141335
12     2           4  6.106228  2.0317799
13     2           5  5.161379  2.1231733
14     2           6  2.724643  4.3369017
15     2           7  4.500306  1.9141065
16     2           8  4.119322  2.8667938
17     3           1  9.987779  2.3961969
18     3           2  7.768579  3.5509275
19     3           3  9.379788  3.3284869
20     3           4 10.035937  2.2997389
21     3           5 11.752360  2.8143474
22     3           6  9.500264  2.1825704
23     3           7  8.921687  5.0126462
24     3           8  8.269932  3.4046339
25     4           1 12.101253  3.2928033
26     4           2 11.482337  3.1645218
27     4           3 10.648010  4.8073987
28     4           4  9.687320  5.3394193
29     4           5 12.796925  3.1197431
30     4           6  9.971434  4.6512983
31     4           7 10.239717  4.7709378
32     4           8 12.245207  2.7952426
33     5           1 18.473320  5.8421967
34     5           2 19.097212  4.9425391
35     5           3 19.460495  4.9166172
36     5           4 18.642305  4.9856035
37     5           5 17.723912  5.0594425
38     5           6 16.783248  4.8615618
39     5           7 16.100984  6.2069167
40     5           8 18.851351  3.8856152
41     6           1 19.683171  7.5568816
42     6           2 21.104231  6.7441900
43     6           3 22.115529  6.4486514
44     6           4 22.061362  5.3727434
45     6           5 22.457905  5.8665798
46     6           6 21.424413  6.0578997
47     6           7 23.475946  4.4024323
48     6           8 24.884950  4.1596914
49     7           1 25.809011  7.6756255
50     7           2 25.432828  7.7910756
51     7           3 26.790387  7.3858301
52     7           4 24.640850  8.2090606
53     7           5 26.050086  7.3779219
54     7           6 25.297148  6.8098617
55     7           7 26.551229  7.6694272
56     7           8 26.669760  6.4425772
57     8           1 26.409669  8.3040894
58     8           2 26.570003  8.4686087
59     8           3 29.018818  7.2476785
60     8           4 30.342613  4.5207729
61     8           5 26.819959  8.7935557
62     8           6 27.147711  8.3141224
63     8           7 26.168568  9.0148308
64     8           8 27.653552  8.2081808
65     9           1 34.120485  7.8415520
66     9           2 31.286463  9.7234259
67     9           3 35.763403  6.9202442
68     9           4 31.974599  9.0078286
69     9           5 32.273719  9.4954288
70     9           6 29.666208 10.2525763
71     9           7 30.949857  9.4751679
72     9           8 33.485967  8.1824810
73    10           1 36.183128 10.7891587
74    10           2 37.706116  9.7119548
75    10           3 38.582725  8.6388290
76    10           4 35.876781 10.8259279
77    10           5 37.111179  9.9805046
78    10           6 40.313149  7.7487456
79    10           7 38.606329 10.2891107
80    10           8 37.041938 10.3568765
81    11           1 42.617586 12.1619185
82    11           2 41.787495 11.1420338
83    11           3 43.944968 11.1898730
84    11           4 43.446467 10.8099599
85    11           5 43.420819 11.2696770
86    11           6 42.367318 11.6183869
87    11           7 43.543785 11.1336555
88    11           8 43.750271 12.0311065
89    12           1 46.122429 12.3528733
90    12           2 47.604306 11.4522787
91    12           3 45.568748 13.6906476
92    12           4 48.331177 12.3561907
93    12           5 47.143246 11.7339915
94    12           6 44.461190 13.3898768
95    12           7 46.879044 11.4054972
96    12           8 46.314055 12.3143487
end

eststo, title(mixed): mixed y x || id:, mle // Mixed estimator
eststo, title(GLS): xtreg y x, i(id) re     // GLS RE estimato
eststo, title(MLE): xtreg y x, i(id) mle    // MLE RE estimator 
eststo, title(Within): xtreg y x, i(id) fe  // FE Within estimator 
eststo, title(Between): xtreg y x, i(id) be // Between estimator 

esttab *, b(a5) se(a5) mtitle 

+1. Obrigado, Dimitriy, é definitivamente útil ver a saída do Stata no mesmo conjunto de dados de brinquedos. Eu tenho uma pergunta sobre o estimador MLE. Eu pensei que a abordagem de modelo misto ( mixedno Stata e lmerno R) também é de probabilidade máxima ou, às vezes, de "probabilidade máxima restrita" (eu posso usar tanto na minha lmerchamada definindo REML=Tou REML=Fcomo eles dão resultados quase idênticos). No entanto, a abordagem de modelo misto fornece um resultado muito sensível e correto, enquanto o que Stat chama de "MLE" fornece um resultado sem sentido nesse caso. Qual é a diferença? A que exatamente o "MLE" do Stat se refere?
Ameba diz Reinstate Monica

2
Ambos @amoeba mixed, mlee xtreg, mlesão estimadores MLE, mas as funções de probabilidade são um pouco diferentes. Veja aqui o primeiro e aqui o último. Não entendo muito bem por que o mixedmodelo é tão robusto.
Dimitriy V. Masterov 04/10/16

xtmixed é o que mixed foi chamado nas versões mais antigas do Stata. Para seus dados, essa equivalência claramente não se aplica, enquanto se aplica aos meus dados, como sugere o manual.
Dimitriy V. Masterov

ssc install estoutEmbora minha lembrança seja de que ele tinha uma funcionalidade diferente em versões diferentes e falhou em ser compatível com versões anteriores.
StasK 07/10

11
O @StasK me colocou em contato com o suporte técnico da Stata e eles disseram que provavelmente é um bug xtreg, mle. "Em geral, o resultado deve ser o mesmo [...]. Esse tipo de diferença normalmente surge quando há problemas de identificação na estimativa dos parâmetros do modelo. [...] Na verdade, verifiquei o número da condição para a variação matriz de covariância resultante de ambos os cálculos e esse número é basicamente infinito para -xtreg, mle- e mais de 4000 para -mixed, mle-. os desenvolvedores [...] vão avaliar o problema para determinar se é necessário um código fixo ".
Ameba diz Reinstate Monica

9

Deixe-me confundir ainda mais as coisas:

ECONOMETRIA - ABORDAGEM DE EFEITOS FIXOS
A abordagem de "efeitos fixos" em econometria para dados em painel é uma maneira de estimar os coeficientes de declive (os betas), "ignorando" a existência da variável de efeitos individuais , e assim não fazer qualquer suposição sobre se é "fixo" ou "aleatório". É o que o estimador "Primeira Diferença" (usando as primeiras diferenças dos dados) e o estimador "Dentro" (usando desvios das médias de tempo) fazem: eles conseguem estimar apenas os betas.αi

Para uma abordagem mais tradicional que trata explicitamente os efeitos individuais (os "intercepta") como constantes, usamos o Estimador de Variáveis ​​Dummy de Mínimos Quadrados (LSDV), que fornece também estimativas para a Nota do : no modelo linear o três estimadores coincidem algebricamente em relação às estimativas produzidas para os betas - mas apenas no modelo linear.αi

Discussão (parcialmente extraída das anotações da aula)

"A principal vantagem da abordagem de efeitos fixos é que não precisamos fazer suposições sobre a natureza dos efeitos individuais. Devemos aplicá-la sempre que suspeitarmos que esta última esteja correlacionada com um ou mais dos regressores, pois neste caso ignorar a presença de tal correlação e aplicar ingenuamente o OLS no modelo agrupado produz estimadores inconsistentes.Apesar de seu apelo com base nas suposições mínimas que precisamos fazer em relação aos efeitos individuais, a abordagem de efeitos fixos tem certas limitações. regressores invariantes não podem ser estimados, pois essas variáveis ​​são diferenciadas juntamente com os efeitos individuais não observáveis.os efeitos individuais (no caso de usarmos o estimador de LSDV) não podem ser estimados de maneira consistente (exceto se deixarmos a dimensão do tempo chegar ao infinito) ".

ECONOMETRIA - ABORDAGEM DE EFEITOS ALEATÓRIOS
Na abordagem "tradicional" de Efeitos Aleatórios econométricos, assumimos que o indivíduo "intercepta" são "componentes aleatórios permanentes" enquanto os termos de erro "usuais" são componentes de erro "transitórios".αi

Em uma extensão interessante, a aleatoriedade adicional surge da existência de um efeito de tempo aleatório , comum a todas as seções transversais, mas com variação no tempo , ao lado de um efeito individual fixo (constante) e do termo de erro. Esse "efeito do tempo", por exemplo, pode representar um choque agregado no nível econômico que afeta igualmente todos os lares. Tais distúrbios agregados são realmente observados e, portanto, parece ser uma opção de modelagem realista.

Aqui, o estimador "Efeitos aleatórios" é um estimador de mínimos quadrados generalizados (GLS), para maior eficiência.

Agora, mais um estimador concebido, o estimador "Entre", executa o OLS nas observações médias do tempo. Como uma questão de álgebra, foi demonstrado que o estimador GLS pode ser obtido como uma média ponderada dos estimadores Dentro e Entre, onde os pesos não são arbitrários, mas estão relacionados às matrizes VCV dos dois.

... e também existem as variantes dos modelos "Efeitos aleatórios não correlacionados" e "Efeitos aleatórios correlacionados".

Espero que o texto acima ajude a contrastar com os modelos de "efeitos mistos".


+1, obrigado Alecos. Isso é útil, mas a relação de tudo isso com a abordagem de modelos mistos permanece incerta para mim. Começo a suspeitar que talvez não exista nenhum relacionamento. Os estimadores entre e dentro (e que o interior é equivalente aos manequins de classe) são claros a propósito; minha confusão é apenas sobre a abordagem de efeitos aleatórios.
Ameba diz Reinstate Monica
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.