Grande diferença entre um teste t e um teste F em um modelo misto (anova vs resumo no lmerTest)

7

Ao ajudar alguém com suas análises, eu me deparei com uma pergunta sobre a diferença entre os testes t e os testes F para modelos lineares mistos no lme4 para R, conforme fornecido pelo lmerTest. Estou ciente dos problemas com o cálculo de qualquer tipo de valor-p para modelos lineares mistos (como eu entendo, principalmente devido ao fato de que a definição dos graus de liberdade é problemática), bem como dos problemas com a interpretação dos principais efeitos em a presença de interações significativas (com base no princípio da marginalidade).

Resumidamente, os dados são de um experimento com duas condições (congruência VERDADEIRA / FALSA), medidas em seis conjuntos de sensores que podem ser descritos como uma combinação de dois fatores: anterioridade (anterior / posterior) e lateralidade (esquerda / central / direita) .

Como pode ser visto no resumo resumido abaixo, os testes t não mostram um efeito significativo de congruência (p = 0,12), enquanto a saída anova mostra um efeito muito significativo de congruência (p = 2,8e-10). Como a congruência possui apenas dois níveis, isso não pode ser o resultado do teste F realizando um teste abrangente em vários níveis do fator fixo. Portanto, não tenho certeza do que causa o resultado muito significativo na saída da anova. Isso se deve ao fato de haver fortes interações envolvendo congruência que, é claro, dependem da inclusão do efeito principal na parametrização do modelo?

Procurei uma resposta anterior a esta pergunta no CrossValidated, mas não consegui encontrar nada relevante, exceto possivelmente a primeira resposta a essa pergunta . No entanto, se isso fornece uma resposta real, está implícito na matemática, e estou procurando uma resposta conceitual que possa explicar à pessoa que estou tentando ajudar.

> final.mod<-lmer(uV~1+factor(congruity)*factor(laterality)*factor(anteriority)+(1|sent.id)+(1|Subject),data=selected.data)
> summary(final.mod)
Linear mixed model fit by REML 

t-tests use  Satterthwaite approximations to degrees of freedom ['lmerMod']
Formula: uV ~ 1 + factor(congruity) * factor(laterality) * factor(anteriority) +      (1 | sent.id) + (1 | Subject)
   Data: selected.data
REML criterion at convergence: 348903.5
Scaled residuals: 
Min      1Q  Median      3Q     Max 
-7.0440 -0.6002  0.0069  0.6038 11.3912 
Random effects:
 Groups   Name        Variance Std.Dev.
 sent.id  (Intercept)   1.773   1.332  
 Subject  (Intercept)   2.548   1.596  
 Residual             111.396  10.554  
Number of obs: 46176, groups:  sent.id, 41; Subject, 30
Fixed effects:
                                                                     Estimate Std. Error         df t value Pr(>|t|)  
(Intercept)                                                                 4.768e-03  3.973e-01  7.900e+01   0.012   0.9905  
factor(congruity)TRUE                                                       3.758e-01  2.410e-01  4.611e+04   1.559   0.1189  
factor(laterality)left                                                      7.154e-02  2.430e-01  4.610e+04   0.294   0.7685  
factor(laterality)right                                                    -2.003e-01  2.430e-01  4.610e+04  -0.824   0.4098  
factor(anteriority)posterior                                               -4.203e-02  2.430e-01  4.610e+04  -0.173   0.8627
factor(congruity)TRUE:factor(laterality)left                               -1.013e-01  3.404e-01  4.610e+04  -0.298   0.7660
factor(congruity)TRUE:factor(laterality)right                               7.233e-02  3.404e-01  4.610e+04   0.213   0.8317
factor(congruity)TRUE:factor(anteriority)posterior                          6.162e-01  3.404e-01  4.610e+04   1.810   0.0702 .
factor(laterality)left:factor(anteriority)posterior                         2.568e-01  3.437e-01  4.610e+04   0.747   0.4549
factor(laterality)right:factor(anteriority)posterior                        1.763e-01  3.437e-01  4.610e+04   0.513   0.6080
factor(congruity)TRUE:factor(laterality)left:factor(anteriority)posterior  -5.162e-02  4.813e-01  4.610e+04  -0.107   0.9146
factor(congruity)TRUE:factor(laterality)right:factor(anteriority)posterior -2.420e-01  4.813e-01  4.610e+04  -0.503   0.6152  
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Correlation of Fixed Effects:
                          (Intr) fc()TRUE fctr(ltrlty)l fctr(ltrlty)r fctr(n) fctr(cngrty)TRUE:fctr(ltrlty)l fctr(cngrty)TRUE:fctr(ltrlty)r
fctr(c)TRUE                       -0.310
fctr(ltrlty)l                     -0.306  0.504
fctr(ltrlty)r                     -0.306  0.504    0.500
fctr(ntrrt)                       -0.306  0.504    0.500         0.500
fctr(cngrty)TRUE:fctr(ltrlty)l     0.218 -0.706   -0.714        -0.357        -0.357
fctr(cngrty)TRUE:fctr(ltrlty)r     0.218 -0.706   -0.357        -0.714        -0.357   0.500
fctr(cngrty)TRUE:fctr(n)           0.218 -0.706   -0.357        -0.357        -0.714   0.500                          0.500
fctr(ltrlty)l:()                   0.216 -0.357   -0.707        -0.354        -0.707   0.505                          0.252
fctr(ltrlty)r:()                   0.216 -0.357   -0.354        -0.707        -0.707   0.252                          0.505
fctr(cngrty)TRUE:fctr(ltrlty)l:() -0.154  0.499    0.505         0.252         0.505  -0.707                         -0.354
fctr(cngrty)TRUE:fctr(ltrlty)r:() -0.154  0.499    0.252         0.505         0.505  -0.354                         -0.707                        
                          fctr(cngrty)TRUE:fctr(n) fctr(ltrlty)l:() fctr(ltrlty)r:() fctr(cngrty)TRUE:fctr(ltrlty)l:()
fctr(c)TRUE
fctr(ltrlty)l
fctr(ltrlty)r
fctr(ntrrt)
fctr(cngrty)TRUE:fctr(ltrlty)l
fctr(cngrty)TRUE:fctr(ltrlty)r
fctr(cngrty)TRUE:fctr(n)
fctr(ltrlty)l:()                   0.505
fctr(ltrlty)r:()                   0.505                    0.500
fctr(cngrty)TRUE:fctr(ltrlty)l:() -0.707                   -0.714           -0.357                                            
fctr(cngrty)TRUE:fctr(ltrlty)r:() -0.707                   -0.357           -0.714            0.500                           
> anova(final.mod)
Analysis of Variance Table of type III  with  Satterthwaite 
approximation for degrees of freedom
                                                 Sum Sq Mean Sq NumDF DenDF F.value    Pr(>F)    
factor(congruity)                                        4439.1  4439.1     1 46142  39.850 2.768e-10 ***
factor(laterality)                                        572.9   286.5     2 46095   2.572  0.076430 .  
factor(anteriority)                                      1508.1  1508.1     1 46095  13.538  0.000234 ***
factor(congruity):factor(laterality)                       31.6    15.8     2 46095   0.142  0.867581    
factor(congruity):factor(anteriority)                     775.1   775.1     1 46095   6.958  0.008349 ** 
factor(laterality):factor(anteriority)                    111.9    56.0     2 46095   0.502  0.605126  
factor(congruity):factor(laterality):factor(anteriority)   31.2    15.6     2 46095   0.140  0.869183    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Em resposta à pergunta de @ Aurelie:

> congruity.mod<-lmer(uV~1+factor(congruity)+(1|sent.id)+(1|Subject),data=selected.data)
> summary(congruity.mod)
Linear mixed model fit by REML 
t-tests use  Satterthwaite approximations to degrees of freedom ['lmerMod']
Formula: uV ~ 1 + factor(congruity) + (1 | sent.id) + (1 | Subject)
   Data: selected.data
REML criterion at convergence: 494077.2
Scaled residuals: 
     Min       1Q   Median       3Q      Max 
-10.1673  -0.5790  -0.0097   0.5818  12.6088 

Random effects:
 Groups   Name        Variance Std.Dev.
 sent.id  (Intercept)   4.568   2.137  
 Subject  (Intercept)   6.132   2.476  
 Residual             178.137  13.347  
Number of obs: 61568, groups:  sent.id, 41; Subject, 30

Fixed effects:
                         Estimate Std. Error         df t value Pr(>|t|)    
(Intercept)                0.6055     0.5671    57.0000   1.068     0.29    
factor(congruity)FALSE    -0.7105     0.1084 61535.0000  -6.558 5.51e-11 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
            (Intr)
fctr()FALSE -0.093
> anova(congruity.mod)
Analysis of Variance Table of type III  with  Satterthwaite 
approximation for degrees of freedom
                  Sum Sq Mean Sq NumDF DenDF F.value    Pr(>F)    
factor(congruity) 7660.5  7660.5     1 61535  43.004 5.507e-11 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
> laterality.mod<-lmer(uV~1+factor(laterality)+(1|sent.id)+(1|Subject),data=selected.data)
> summary(laterality.mod)
Linear mixed model fit by REML 
t-tests use  Satterthwaite approximations to degrees of freedom ['lmerMod']
Formula: uV ~ 1 + factor(laterality) + (1 | sent.id) + (1 | Subject)
   Data: selected.data

REML criterion at convergence: 372848.2

Scaled residuals: 
    Min      1Q  Median      3Q     Max 
-9.7033 -0.5981 -0.0076  0.6006 12.2265 

Random effects:
 Groups   Name        Variance Std.Dev.
 sent.id  (Intercept)   5.568   2.360  
 Subject  (Intercept)   6.777   2.603  
 Residual             186.966  13.674  
Number of obs: 46176, groups:  sent.id, 41; Subject, 30

Fixed effects:
                          Estimate Std. Error         df t value Pr(>|t|)    
(Intercept)                 0.8128     0.6115    61.0000   1.329  0.18877    
factor(laterality)left     -0.4260     0.1559 46105.0000  -2.733  0.00628 ** 
factor(laterality)right    -0.6709     0.1559 46105.0000  -4.304 1.68e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
              (Intr) fctr(ltrlty)l
fctr(ltrlty)l -0.127              
fctr(ltrlty)r -0.127  0.500       
> anova(laterality.mod)
Analysis of Variance Table of type III  with  Satterthwaite 
approximation for degrees of freedom
                   Sum Sq Mean Sq NumDF DenDF F.value    Pr(>F)    
factor(laterality) 3548.2  1774.1     2 46105  9.4889 7.584e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
> anteriority.mod<-lmer(uV~1+factor(anteriority)+(1|sent.id)+(1|Subject),data=selected.data)
> summary(anteriority.mod)
Linear mixed model fit by REML 
t-tests use  Satterthwaite approximations to degrees of freedom ['lmerMod']
Formula: uV ~ 1 + factor(anteriority) + (1 | sent.id) + (1 | Subject)
   Data: selected.data

REML criterion at convergence: 372738.6

Scaled residuals: 
    Min      1Q  Median      3Q     Max 
-9.6668 -0.5986 -0.0032  0.6017 12.2711 

Random effects:
 Groups   Name        Variance Std.Dev.
 sent.id  (Intercept)   5.569   2.360  
 Subject  (Intercept)   6.777   2.603  
 Residual             186.525  13.657  
Number of obs: 46176, groups:  sent.id, 41; Subject, 30

Fixed effects:
                           Estimate Std. Error         df t value Pr(>|t|)    
(Intercept)                     -0.2693     0.6081    59.0000  -0.443     0.66    
factor(anteriority)posterior     1.4328     0.1271 46105.0000  11.272   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
            (Intr)
fctr(ntrrt) -0.105
> anova(anteriority.mod)
Analysis of Variance Table of type III  with  Satterthwaite 
approximation for degrees of freedom
                    Sum Sq Mean Sq NumDF DenDF F.value    Pr(>F)    
factor(anteriority)  23700   23700     1 46106  127.06 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Atualização: Depois de atualizar os contrastes com base na resposta de @ Henrik:

> options(contrasts=c("contr.sum","contr.poly"))
> final.mod<-lmer(uV~1+factor(congruity)*factor(laterality)*factor(anteriority)+(1|sent.id)+(1|Subject),data=selected.data)
> summary(final.mod)
Linear mixed model fit by REML 
t-tests use  Satterthwaite approximations to degrees of freedom ['lmerMod']
Formula: uV ~ 1 + factor(congruity) * factor(laterality) *     factor(anteriority) +      (1 | sent.id) + (1 | Subject)
   Data: selected.data

REML criterion at convergence: 372689.8

Scaled residuals: 
    Min      1Q  Median      3Q     Max 
-9.6772 -0.5979 -0.0016  0.5977 12.3439 

Random effects:
 Groups   Name        Variance Std.Dev.
 sent.id  (Intercept)   5.556   2.357  
 Subject  (Intercept)   6.752   2.599  
 Residual             186.232  13.647  
Number of obs: 46176, groups:  sent.id, 41; Subject, 30

Fixed effects:
                                                              Estimate Std. Error         df t value Pr(>|t|)    
(Intercept)                                                  4.355e-01  6.039e-01  5.800e+01   0.721   0.4737    
factor(congruity)1                                           4.501e-01  6.396e-02  4.613e+04   7.037 1.99e-12 ***
factor(laterality)1                                          3.628e-01  8.983e-02  4.610e+04   4.039 5.38e-05 ***
factor(laterality)2                                         -5.732e-02  8.983e-02  4.610e+04  -0.638   0.5234    
factor(anteriority)1                                        -7.183e-01  6.352e-02  4.610e+04 -11.308  < 2e-16 ***
factor(congruity)1:factor(laterality)1                       1.433e-01  8.983e-02  4.610e+04   1.596   0.1106    
factor(congruity)1:factor(laterality)2                      -1.535e-01  8.983e-02  4.610e+04  -1.709   0.0875 .  
factor(congruity)1:factor(anteriority)1                      9.442e-02  6.352e-02  4.610e+04   1.487   0.1371    
factor(laterality)1:factor(anteriority)1                     2.282e-01  8.983e-02  4.610e+04   2.540   0.0111 *  
factor(laterality)2:factor(anteriority)1                    -2.121e-01  8.983e-02  4.610e+04  -2.362   0.0182 *  
factor(congruity)1:factor(laterality)1:factor(anteriority)1 -7.802e-03  8.983e-02  4.610e+04  -0.087   0.9308    
factor(congruity)1:factor(laterality)2:factor(anteriority)1 -1.141e-02  8.983e-02  4.610e+04  -0.127   0.8989    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
                       (Intr) fctr(c)1 fctr(l)1 fct()2 fctr(n)1     fctr(cngrty)1:fctr(l)1 fc()1:()2 fctr(cngrty)1:fctr(n)1
fctr(cngr)1            -0.003                                                                                          
fctr(ltrl)1             0.000  0.000                                                                                   
fctr(ltrl)2             0.000  0.000   -0.500                                                                          
fctr(ntrr)1             0.000  0.000    0.000    0.000                                                                 
fctr(cngrty)1:fctr(l)1  0.000  0.000   -0.020    0.010  0.000                                                          
fctr()1:()2             0.000  0.000    0.010   -0.020  0.000   -0.500                                                 
fctr(cngrty)1:fctr(n)1  0.000  0.000    0.000    0.000 -0.020    0.000                  0.000                          
fctr(l)1:()1            0.000  0.000    0.000    0.000  0.000    0.000                  0.000     0.000                
fctr()2:()1             0.000  0.000    0.000    0.000  0.000    0.000                  0.000     0.000                
f()1:()1:()             0.000  0.000    0.000    0.000  0.000    0.000                  0.000     0.000                
f()1:()2:()             0.000  0.000    0.000    0.000  0.000    0.000                  0.000     0.000                
                       fctr(l)1:()1 f()2:( f()1:()1:
fctr(cngr)1                                         
fctr(ltrl)1                                         
fctr(ltrl)2                                         
fctr(ntrr)1                                         
fctr(cngrty)1:fctr(l)1                              
fctr()1:()2                                         
fctr(cngrty)1:fctr(n)1                              
fctr(l)1:()1                                        
fctr()2:()1            -0.500                       
f()1:()1:()            -0.020        0.010          
f()1:()2:()             0.010       -0.020 -0.500   
> anova(final.mod)
Analysis of Variance Table of type III  with  Satterthwaite 
approximation for degrees of freedom
                                                          Sum Sq Mean Sq NumDF DenDF F.value    Pr(>F)    
factor(congruity)                                         9221.9  9221.9     1 46129  49.518 1.993e-12 ***
factor(laterality)                                        3511.5  1755.7     2 46095   9.428 8.062e-05 ***
factor(anteriority)                                      23814.0 23814.0     1 46095 127.873 < 2.2e-16 ***
factor(congruity):factor(laterality)                       680.3   340.1     2 46095   1.826   0.16101    
factor(congruity):factor(anteriority)                      411.5   411.5     1 46095   2.210   0.13714    
factor(laterality):factor(anteriority)                    1497.4   748.7     2 46095   4.020   0.01796 *  
factor(congruity):factor(laterality):factor(anteriority)     8.6     4.3     2 46095   0.023   0.97713    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
hypothesis-testing  mixed-model  t-test  lme4-nlme  f-test 
— Ishisht
fonte
Este é um design equilibrado? Além disso, suponho que send.id é a identificação do sensor? Nesse caso, parece que você tem um efeito aleatório para os locais dos sensores e efeitos fixos para os locais dos sensores.
— Dbwilson 12/05
O design é, em princípio, equilibrado, embora existam alguns dados ausentes (~ 5% do topo da minha cabeça) que, no entanto, são distribuídos de maneira mais ou menos uniforme nas células. sent.id é a identificação da sentença - os estímulos são sentenças e, portanto, há efeitos aleatórios para elas.
— Ishisht
11
+1. Veja alguns dos principais resultados desta pesquisa: stats.stackexchange.com/search?q=%5Blme4-nlme%5D+anova+summary - pode haver algo relevante. São ambos anova()e summary()de lmerMod?
— Ameba
Em particular, consulte stats.stackexchange.com/a/265029/28666 .
— Ameba
5
— Henrik

Respostas:

3

Os testes do tipo III requerem codificação correta para que efeitos de ordem inferior sejam significativos, especificamente contrastes ortogonais. O padrão R contr.treatmentnão é ortogonal, mas existem outros contrastes (por exemplo, contr.sum). No seu código, parece que você usou não alterou os padrões, portanto, seus resultados são os chamados efeitos principais simples. Discutimos isso em nosso capítulo que será lançado em breve aqui , mas outras referências são fáceis de encontrar .

Para usar os contrastes corretos, execute o seguinte antes de ajustar um modelo misto em R:

options(contrasts=c("contr.sum","contr.poly"))

Um código mais fácil de lembrar é usar set_sum_contrasts() no meu afexpacote:

afex::set_sum_contrasts()

Atualize sua pergunta se isso não resolver o seu problema (de preferência com dados para recriar o problema).

— Henrik
fonte
(A propósito, pergunto-me se esse Q deve ser fechado como uma duplicata de stats.stackexchange.com/questions/249884 depois que você receber sua recompensa e sua resposta for esperada . Talvez você queira postar uma resposta nesse tópico também).
— ameba
@amoeba Obrigado pelo seu feedback. Estou bem em fechar este (deve OP retornar). Mas não vejo como uma resposta minha à outra pergunta poderia acrescentar algo. Talvez seja uma idéia mais eficiente adicionar o link do capítulo à resposta aceita, para que as pessoas ainda possam lê-lo (e, espero, citar).
— Henrik
11
Eu editei a postagem para mostrar os resultados com os contrastes atualizados. Como você pode ver, isso elimina a discrepância. Ainda não tive tempo de ler suas referências, mas espero que isso também me ajude a entender exatamente como a diferença de contraste cria uma diferença tão grande aqui. Concordo que esta questão é essencialmente uma duplicata da postagem acima mencionada (eu pesquisei antes, mas sem a tag lme4-nlme, recebi muitas respostas não relacionadas para encontrar algo útil), mas, na verdade, acho útil colocar o capítulo e / ou outras referências lá.
— Ishisht
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.