Efeito fixo vs efeito aleatório quando todas as possibilidades estão incluídas em um modelo de efeitos mistos


15

Em um modelo de efeitos mistos, a recomendação é usar um efeito fixo para estimar um parâmetro se todos os níveis possíveis forem incluídos (por exemplo, homens e mulheres). Recomenda-se ainda o uso de um efeito aleatório para contabilizar uma variável se os níveis incluídos forem apenas uma amostra aleatória de uma população (pacientes inscritos no universo de possíveis pacientes) e você desejar estimar a média e a variação da população em vez dos meios dos níveis individuais dos fatores.

Gostaria de saber se você é logicamente obrigado a sempre usar um efeito fixo dessa maneira. Considere um estudo sobre como o tamanho do pé / sapato muda com o desenvolvimento e está relacionado a, digamos, altura, peso e idade. Sideclaramente deve ser incluído no modelo de alguma forma para explicar o fato de que as medidas ao longo dos anos estão aninhadas em um determinado pé e não são independentes. Além disso, direita e esquerda são todas as possibilidades que podem existir. Além disso, pode ser bem verdade que, para um determinado participante, o pé direito é maior (ou menor) que o esquerdo. No entanto, embora o tamanho do pé difira um pouco entre os pés para todas as pessoas, não há razão para acreditar que o pé direito seja, em média, maior que o pé esquerdo. Se eles estão na sua amostra, isso provavelmente se deve a algo sobre a genética das pessoas na sua amostra, e não a algo intrínseco ao pé direito. Finalmente, parece ser um parâmetro incômodo, não algo que você realmente se preocupam. side

Deixe-me notar que eu inventei este exemplo. Pode não ser bom; é apenas para transmitir a ideia. Pelo que sei, ter um pé direito grande e um pé esquerdo pequeno era necessário para a sobrevivência no paleolítico.

Em um caso como este, isso faria (/ mais / menos) sentido incorporar no modelo como um efeito aleatório? Quais seriam os prós e os contras de usar um efeito fixo vs. aleatório aqui? side


por que você gostaria de tratar o lado como um fator aleatório, uma vez que existem dois e apenas dois níveis do fator? De onde vem a aleatoriedade na sua configuração de problemas?
Aaron Zeng

@AaronZeng, deixando de lado a qualidade do meu exemplo, essa é minha pergunta. Existe alguma razão para representar níveis com efeitos aleatórios se você tiver todos os níveis possíveis. E se o fator em questão tivesse> 2 níveis?
gung - Restabelece Monica

11
@gung Acabei de voltar a este tópico - alguma das respostas ajudou? Se não - o que mais você está interessado em aprender? Talvez você tenha sua própria resposta (se sim, eu estaria interessado em saber mais sobre esse problema!)?
Tim

2
Faz muito tempo desde que voltei aqui, @Tim. Aprecio as duas respostas (votei-as), mas elas não são exatamente o que eu estava procurando (provavelmente devido a uma pergunta insuficientemente clara). Pensei em compilar uma resposta de algumas coisas que Ben Bolker postou em vários lugares, mas seria um pouco de trabalho e eu nunca consegui. Ainda é algo que devo fazer. Obrigado pela cutucada.
gung - Restabelece Monica

Respostas:


13

O problema geral dos efeitos "fixos" e "aleatórios" é que eles não são definidos de maneira consistente. Andrew Gelman cita vários deles:

(1) Os efeitos fixos são constantes entre os indivíduos e os efeitos aleatórios variam. Por exemplo, em um estudo de crescimento, um modelo com intercepção aleatórios e inclinação fixa B corresponde a linhas paralelas de diferentes indivíduos i , ou o modelo de y i t = um i + b t . Kreft e De Leeuw (1998) distinguem, portanto, entre coeficientes fixos e aleatórios.umaEubEuyEut=umaEu+bt

(2) Os efeitos são fixos se forem interessantes em si ou aleatórios se houver interesse na população subjacente. Searle, Casella e McCulloch (1992, Seção 1.4) exploram essa distinção em profundidade.

(3) “Quando uma amostra esgota a população, a variável correspondente é fixa; quando a amostra é uma parte pequena (ou seja, insignificante) da população, a variável correspondente é aleatória. ”(Green e Tukey, 1960)

(4) “Se um efeito é assumido como um valor realizado de uma variável aleatória, é chamado efeito aleatório.” (LaMotte, 1983)

(5) Efeitos fixos são estimados usando mínimos quadrados (ou, mais geralmente, máxima verossimilhança) e efeitos aleatórios são estimados com retração ("previsão linear imparcial" na terminologia de Robinson, 1991). Essa definição é padrão na literatura de modelagem multinível (ver, por exemplo, Snijders e Bosker, 1999, Seção 4.2) e em econometria.

e percebe que eles não são consistentes. Em seu livro Data Analysis Using Regression and Multilevel / Hierarchical Models, ele geralmente evita usar esses termos e em seu trabalho ele se concentra em fixar ou variar entre grupos intercepta e inclina porque

Efeitos fixos podem ser vistos como casos especiais de efeitos aleatórios, nos quais a variação de nível mais alto (no modelo (1.1), isso seria ) é definida como 0 ou . Portanto, em nossa estrutura, todos os parâmetros de regressão são "aleatórios" e o termo "multinível" é abrangente.σα20 0

Isto é especialmente verdade com a estrutura bayesiana - comumente usada para modelos mistos - onde todos os efeitos são aleatórios por si só. Se você pensa bayesiano, não está realmente preocupado com efeitos "fixos" e estimativas pontuais e não tem problema em tratar todos os efeitos de forma aleatória.

Quanto mais eu leio sobre esse tópico, mais estou convencido de que se trata de uma discussão ideológica sobre o que podemos (ou devemos) estimar e o que só podemos prever (aqui também poderia me referir à sua própria resposta ). Você usa efeitos aleatórios se tiver uma amostra aleatória de possíveis resultados; portanto, não se preocupa com estimativas individuais e se preocupa mais com os efeitos da população, e com os indivíduos. Portanto, a resposta da sua pergunta depende também do que você pensa se deseja ou pode estimar os efeitos fixos dados seus dados. Se todos os níveis possíveis estiverem incluídos nos seus dados, você poderáestimar efeitos fixos - também, como no seu exemplo, o número de níveis pode ser pequeno e isso geralmente não seria bom para estimar efeitos aleatórios e existem alguns requisitos mínimos para isso .

Argumento do melhor cenário

Digamos que você tenha quantidades ilimitadas de dados e poder computacional ilimitado. Nesse caso, você pode imaginar estimar todos os efeitos como fixos, pois os efeitos fixos oferecem mais flexibilidade (permite comparar os efeitos individuais). No entanto, mesmo neste caso, a maioria de nós relutaria em usar efeitos fixos para tudo.

Por exemplo, imagine que você deseja modelar os resultados dos exames de escolas de alguma região e tenha dados sobre todas as 100 escolas da região. Nesse caso, você pode ameaçar as escolas como fixas - já que você tem dados em todos os níveis - mas, na prática, provavelmente prefere pensar nelas como aleatórias. Por que é que?

  1. Uma razão é que, geralmente, nesse tipo de casos, você não está interessado nos efeitos de escolas individuais (e é difícil comparar todos eles), mas em uma variabilidade geral entre as escolas.

  2. Outro argumento aqui é a parcimônia do modelo. Geralmente, você não está interessado no modelo "toda influência possível"; portanto, no seu modelo, você inclui poucos efeitos fixos que deseja testar e controlar para as outras possíveis fontes de variabilidade. Isso faz com que os modelos de efeitos mistos se ajustem à maneira geral de pensar sobre modelagem estatística, onde você estima algo e controla outras coisas. Com dados complicados (multiníveis ou hierárquicos), você tem muitos efeitos a serem incluídos, então você ameaça alguns como "fixos" e outros como "aleatórios" para controlá-los.

  3. Nesse cenário, você também não pensaria nas escolas como tendo cada uma sua influência única e única nos resultados, mas como nas escolas que exercem alguma influência em geral. Então esse argumento seria que acreditamos que não é realmente possível estimar os efeitos únicos de escolas individuais e, portanto, os ameaçamos como amostra aleatória de possíveis efeitos nas escolas.

Modelos de efeitos mistos estão entre os cenários "tudo corrigido" e "tudo aleatório". Os dados que encontramos nos fazem diminuir nossas expectativas sobre estimar tudo como efeitos fixos; portanto, decidimos quais efeitos queremos comparar e quais efeitos queremos controlar, ou temos um sentimento geral sobre sua influência. Não se trata apenas de quais são os dados, mas também de como pensamos nos dados ao modelá-los.


Muitos pontos positivos aqui, @ Tim. Gostaria de saber qual é a sua opinião sobre o exemplo do entusiasmo no OP; houve uma longa discussão nos comentários sob minha resposta, mas acho que agora já está mais ou menos resolvido. Seria bom saber se você concorda ou discorda do que escrevi.
Ameba diz Reinstate Monica

@amoeba é uma resposta interessante (já marquei +1) e concordo com o seu ponto. Eu acho que essencialmente o kung está certo (o mesmo que Gelman - que está sempre certo :)) que não existe uma resposta única. Existe uma enorme literatura e várias maneiras de empregar modelos de efeitos mistos e nenhuma distinção clara. Além disso, existem pessoas que, por padrão, sempre usam efeitos fixos para tudo e outras que usam efeitos aleatórios sempre que podem, mesmo nos casos que geralmente consideramos efeitos fixos ... Também depende do que exatamente você deseja. modelo.
Tim

13

Sumário executivo

De fato, é comum dizer que, se todos os níveis possíveis de fatores forem incluídos em um modelo misto, esse fator deverá ser tratado como um efeito fixo. Isso não é necessariamente verdade por duas razões distintas:

(1) Se o número de níveis for grande, ele poderá fazer sentido tratar o fator [cruzado] como aleatório.

Concordo com o @Tim e o @RobertLong aqui: se um fator tiver um grande número de níveis, todos incluídos no modelo (como por exemplo, todos os países do mundo; ou todas as escolas de um país; ou talvez toda a população de assuntos são pesquisados ​​etc.), então não há nada de errado em tratá-lo como aleatório - isso poderia ser mais parcimonioso, poderia fornecer algum encolhimento etc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Se o fator estiver aninhado dentro de outro efeito aleatório, ele deverá ser tratado como aleatório, independentemente do seu número de níveis.

Houve uma grande confusão nesse tópico (ver comentários) porque outras respostas são sobre o caso 1, mas o exemplo que você deu é um exemplo de uma situação diferente , a saber, o caso 2. Aqui existem apenas dois níveis (ou seja, não "um grande número"!) E eles esgotam todas as possibilidades, mas estão aninhados dentro de outro efeito aleatório , produzindo um efeito aleatório aninhado.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

Discussão detalhada do seu exemplo

Os lados e assuntos em seu experimento imaginário estão relacionados, como aulas e escolas, no exemplo de modelo hierárquico padrão. Talvez cada escola (nº 1, nº 2, nº 3, etc.) possua as classes A e B, e essas duas classes devem ser aproximadamente as mesmas. Você não modelará as classes A e B como um efeito fixo com dois níveis; Isso seria um erro. Mas você não modelará as classes A e B como um efeito aleatório "separado" (isto é, cruzado) com dois níveis também; isso seria um erro também. Em vez disso, você modelará classes como um efeito aleatório aninhado dentro das escolas.

Veja aqui: Efeitos aleatórios cruzados vs aninhados: como eles diferem e como são especificados corretamente no lme4?

Em seu estudo imaginário do tamanho do pé, sujeito e lado são efeitos aleatórios e lado é aninhado dentro do sujeito. Isso significa essencialmente que uma variável combinada é formada, por exemplo, John-Left, John-Right, Mary-Left, Mary-Right, etc., e existem dois efeitos aleatórios cruzados: sujeitos e sujeitos-lados. Então, por assuntoEu=1 1...n e para o lado j=1 1,2 Nós teríamos:

TamanhoEujk=μ+αAlturaEujk+βPesoEujk+γEraEujk+ϵEu+ϵEuj+ϵEujk
ϵEuN(0 0,σsvocêbjects2),Interceptação aleatória para cada sujeito
ϵEujN(0 0,σassunto2),Random int. para o lado aninhado no sujeito
ϵEujkN(0 0,σruído2),Termo de erro

Como você mesmo escreveu, "não há razão para acreditar que o pé direito seja, em média, maior que o pé esquerdo". Portanto, não deve haver efeito "global" (nem fixo nem cruzado aleatoriamente) do pé direito ou esquerdo; em vez disso, pode-se pensar que cada sujeito tem "um" pé e "outro" pé, e essa variabilidade devemos incluir no modelo. Esses pés "um" e "outro" são aninhados dentro dos sujeitos, portanto, efeitos aleatórios aninhados.

Mais detalhes em resposta aos comentários. [26 de setembro]

My model above includes Side as a nested random effect within Subjects. Here is an alternative model, suggested by @Robert, where Side is a fixed effect:

Sizeijk=μ+αHeightijk+βWeightijk+γAgeijk+δSidej+ϵi+ϵijk

I challenge @RobertLong or @gung to explain how this model can take care of the dependencies existing for consecutive measurements of the same Side of the same Subject, i.e. of the dependencies for data points with the same ij combination.

It cannot.

The same is true for @gung's hypothetical model with Side as a crossed random effect:

Sizeijk=μ+αAlturaEujk+βPesoEujk+γEraEujk+ϵEu+ϵj+ϵEujk

Ele também não considera dependências.

Demonstração via simulação [2 de outubro]

Aqui está uma demonstração direta em R.

Gero um conjunto de dados de brinquedo com cinco sujeitos medidos nos dois pés por cinco anos consecutivos. O efeito da idade é linear. Cada sujeito tem uma interceptação aleatória. E cada sujeito tem um dos pés (esquerdo ou direito) maior que outro.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Desculpas pelas minhas terríveis habilidades em R. Aqui está como os dados são exibidos (cada cinco pontos consecutivos é um pé de uma pessoa medida ao longo dos anos; cada dez pontos consecutivos são dois pés da mesma pessoa):

enter image description here

Agora podemos encaixar vários modelos:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Todos os modelos incluem um efeito fixo de agee um efeito aleatório de subject, mas tratam de maneira sidediferente.

  1. Model 1: fixed effect of side. This is @Robert's model. Result: age comes out not significant (t=1.8), residual variance is huge (29.81).

  2. Modelo 2: efeito aleatório cruzado de side. Este é o modelo "hipotético" de @ gung do OP. Resultado: agesai não significativo (t=1.4), a variação residual é enorme (29,81).

  3. Modelo 3: efeito aleatório aninhado de side. Este é o meu modelo. Resultado: ageé muito significativo (t=37., sim, trinta e sete), a variação residual é pequena (0,07).

Isso mostra claramente que sidedeve ser tratado como um efeito aleatório aninhado.

Por fim, nos comentários, o @Robert sugeriu incluir o efeito global de sidecomo uma variável de controle. Podemos fazer isso, mantendo o efeito aleatório aninhado:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

Esses dois modelos não diferem muito do número 3. O modelo 4 produz um efeito fixo pequeno e insignificante de side(t=0,5) O modelo 5 produz uma estimativa de sidevariação igual a exatamente zero.


2
I don't really think that, in this example, side meets any of the usual definitions/guidelines of when a factor should be treated as random vs fixed. In particular, making inferences beyond the sampled levels of the factor is meaningless. Moreover, with only 2 levels of the factor, treating it as fixed seems an unambigious and straightforward way to approach the modelling.
Robert Long

Robert, thanks for the reply. Either I am completely confused or I failed to explain properly what I mean. Treating side as a fixed effect means assuming that one of the sides (e.g. Right) is always bigger than the other (Left), by a certain amount. This amount is the same for all people. This is explicitly not what the OP had in mind. He wrote that in some people Right might be larger and in some other people Left. However, we need to account for the side because of correlated errors. Why can't we treat as a nested random effect then? It's exactly like classes within schools.
amoeba says Reinstate Monica

Não sei se isso implica necessariamente isso. O que diz é que, nesta amostra, pode haver uma diferença sistemática entre os lados (que pode ou não ser um artefato devido à variação da amostra). Prefiro pensar em incluí-lo como um efeito fixo como "controlar" a não-independência e nada mais - da mesma forma que adicionaríamos um fator de confusão a um modelo e nem sonharíamos em tentar interpretá-lo coeficiente.
Robert Long

2
Estou votando sua resposta após uma reflexão mais aprofundada. Você levanta alguns pontos realmente interessantes. No momento, não tenho tempo para me aprofundar na matemática disso. Eu gostaria de encontrar um conjunto de dados brinquedo para brincar, se possível (se você souber de uma, por favor me avise)
Robert Long

2
+1, refletindo melhor, você parece estar certo sobre as peculiaridades deste estudo. O ponto mais importante é que não há uma resposta única para o efeito fixo versus aleatório quando todas as possibilidades estão incluídas, e cada caso deve ser avaliado individualmente, imagino?
gung - Restabelece Monica

7

Para adicionar às outras respostas:

I don't think you are logically obliged to always use a fixed effect in the manner described in the OP. Even when the usual definitions/guidelines for when to treat a factor as random are not met, I might be inclined to still model it as random when there are a large number of levels, so that treating the factor as fixed would consume many degrees of freedom and result in a cumbersome and less parsimonious model.


This seems like a reasonable point, & I appreciate that you weren't blinded by my example. I gather from this, & your comment to @amoeba's answer, that "when there are a large number of levels" (vs "with only 2 levels of the factor") seems to be key.
gung - Reinstate Monica

1
+1 porque eu concordo com esse ponto, mas isso me deixa maluco por não ter explicado meu argumento e que nem você nem o @gung entendem o que eu quis dizer. Tratar o sideefeito aleatório como fixo ou cruzado significa necessariamente assumir que um dos lados (por exemplo, Direita) é sempre maior que o outro (Esquerda), para todos os sujeitos. Isso não é explicitamente o que Gung escreveu em seu OP, afirmando que "não há razão para acreditar que o pé direito seja, em média, maior que o pé esquerdo". Ainda vejo o exemplo de Gung como um caso claro de efeito aleatório aninhado, em analogia completa com as aulas nas escolas.
Ameba diz Reinstate Monica

@amoeba ponto interessante, mas não concordo. Vou comentar nos comentários à sua resposta ...
Robert Long

4

Se você está falando sobre a situação em que conhece todos os níveis possíveis de um fator de interesse e também possui dados para estimar os efeitos, definitivamente não precisa representar níveis com efeitos aleatórios.

A razão pela qual você deseja definir um efeito aleatório para um fator é porque deseja inferir sobre os efeitos de todos os níveis desse fator, que normalmente são desconhecidos. Para fazer esse tipo de inferência, você impõe a suposição de que os efeitos de todos os níveis formam uma distribuição normal em geral. Mas, dada a configuração do seu problema, você pode estimar os efeitos de todos os níveis. Então certamente não há necessidade de definir efeitos aleatórios e impor suposições adicionais.

É como a situação em que você é capaz de obter todos os valores da população (portanto, você sabe a verdadeira média), mas está tentando tirar uma amostra grande da população e usar o teorema do limite central para aproximar a distribuição da amostra e, em seguida, faça inferência sobre a verdadeira média.


2
Um comentário: às vezes você tem todos os níveis, mas ainda usa efeito aleatório para eles. Por exemplo, você conduz estudos nacionais sobre educação e tem dados sobre todas as escolas, mas ainda usa efeitos aleatórios nas escolas, em vez de usar manequins para cada escola.
Tim
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.