ANOVA de medidas repetidas vs. ANOVA fatorial com fator de sujeito: entendendo “estratos de erro” e termo de Erro () em aov

Considere ANOVA de medidas repetidas (RM-ANOVA) com um fator dentro do assunto Ae várias medidas por assunto para cada nível de A.

Está intimamente relacionado à ANOVA bidirecional com dois fatores: Ae subject. Eles usam decomposição idêntica da soma dos quadrados em quatro partes: A, subject, A⋅subject, e residual. No entanto, a ANOVA de duas vias testa o efeito de A comparando SS de A com a SS residual, enquanto a RM-ANOVA testa o efeito de A comparando SS de A com a interação do sujeito A SS.$\cdot$

Por que a diferença?

1. Essa diferença decorre automaticamente da estrutura de medidas repetidas dos dados ou é alguma convenção?
2. Essa diferença entre ANOVA bidirecional e RM-ANOVA corresponde ao teste de dois nulos diferentes? Se sim, o que exatamente são e por que usaríamos nulos diferentes nesses dois casos?
3. O teste de ANOVA de duas vias pode ser entendido como um teste F entre dois modelos aninhados: o modelo completo e o modelo sem A. O RM-ANOVA pode ser entendido de maneira semelhante?

(Se houver apenas uma medida por sujeito para cada nível de A, a distinção desaparecerá porque A assunto e a variação residual não podem ser desembaraçadas: A ANOVA de medidas repetidas de uma via é equivalente a uma ANOVA de duas vias? )$\cdot$

---

Demonstração

Usarei os dados de brinquedos d2gerados em http://dwoll.de/rexrepos/posts/anovaMixed.html . A mesma página mostra a sintaxe correta para o RM-ANOVA.

# Discarding between-subject factors and leaving only one within-subject factor
d = d2[d2$Xb1=='CG' & d2$Xb2 == 'f', c(1,4,6)]

(Veja a versão reproduzível aqui em pastebin .) Os dados são assim:

     id Xw1     Y
1    s1   A  28.6
2    s1   A  96.6
3    s1   A  64.8
4    s1   B 107.5
5    s1   B  77.3
6    s1   B 120.9
7    s1   C 141.2
8    s1   C 124.1
9    s1   C  88.0
10   s2   A  86.7
...

Aqui está ANOVA bidirecional: summary(aov(Y ~ Xw1*id, d))

             Df Sum Sq Mean Sq F value   Pr(>F)    
Xw1           2  95274   47637  16.789 3.73e-07 ***
id           19  31359    1650   0.582    0.913    
Xw1:id       38  71151    1872   0.660    0.929    
Residuals   120 340490    2837                 

Aqui está o RM-ANOVA: summary(aov(Y ~ Xw1 + Error(id/Xw1), d))

Error: id
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 19  31359    1650               

Error: id:Xw1
          Df Sum Sq Mean Sq F value   Pr(>F)    
Xw1        2  95274   47637   25.44 9.73e-08 ***
Residuals 38  71151    1872                     

Error: Within
           Df Sum Sq Mean Sq F value Pr(>F)
Residuals 120 340490    2837            

Observe a decomposição SS idêntica, mas a ANOVA de duas vias testa Xw1contra o residual, enquanto a RM-ANOVA testa Xw1contra a Xw1:idinteração.

Por quê?

Esta questão está relacionada a Como escrever o termo de erro em medidas repetidas ANOVA em R: Erro (assunto) vs Erro (assunto / tempo) . Se tentarmos usar em Error(id)vez do Error(id/Xw1)exemplo acima, Xw1será testado contra a Xw1:idinteração agrupada com a variação residual.

(O mesmo problema ocorre na RM-ANOVA fatorial com vários fatores dentro do indivíduo, em que cada fator ou interação é testado em relação ao seu próprio "termo de erro", também conhecido como "estrato de erro". Esses estratos de erro são sempre dados pela interação correspondente com o bloco / plot / variável de assunto id.)

... ANOVA bidirecional testa o efeito de A comparando SS de A com o SS residual, enquanto RM-ANOVA testa o efeito de A comparando SS de A com a interação SS do objeto A.

1) Essa diferença decorre automaticamente da estrutura de medidas repetidas dos dados ou é alguma convenção?

Segue-se da estrutura de medidas repetidas dos dados. O princípio básico da análise de variância é que comparamos a variação entre os níveis de um tratamento com a variação entre as unidades que receberam esse tratamento. O que torna o caso de medidas repetidas um tanto complicado é estimar essa segunda variação.

Neste caso mais simples, o que interessa são as diferenças entre os níveis de A. Então, em quantas unidades medimos essa diferença? É o número de assuntos, não o número de observações. Ou seja, cada sujeito nos fornece uma informação independente adicional sobre a diferença, não cada observação. Adicionar medidas mais repetidas aumenta a precisão de nossas informações sobre cada assunto, mas não nos fornece mais assuntos.

O que o RM-Anova faz ao usar a interação A - sujeito como o termo de erro é usar corretamente a variação nas diferenças entre os níveis de A entre os sujeitos como a variação para testar o efeito do nível A. O uso do erro observacional usa a variação nas medidas repetidas em cada indivíduo, o que não está correto.

Considere um caso em que você coleta mais e mais dados de apenas algumas pessoas. Se você usar o erro no nível de observação, você alcançaria significância estatística, mesmo tendo apenas alguns indivíduos. Você precisa de mais indivíduos, não mais dados sobre eles, para realmente aumentar o poder.

2) Essa diferença entre ANOVA bidirecional e RM-ANOVA corresponde ao teste de dois nulos diferentes? Se sim, o que exatamente são e por que usaríamos nulos diferentes nesses dois casos?

Não, a mesma hipótese nula. O que é diferente é como estimamos a estatística do teste e sua distribuição nula.

3) O teste de ANOVA de duas vias pode ser entendido como um teste F entre dois modelos aninhados: o modelo completo e o modelo sem A. O RM-ANOVA pode ser entendido de maneira semelhante?

Sim, mas talvez não da maneira que você espera. Como você vê na saída de aov, uma maneira de pensar sobre esses tipos de modelos é que eles são realmente vários modelos em um, com um modelo para cada nível.

Pode-se ajustar os modelos para níveis mais altos individualmente, calculando a média dos dados sobre os níveis mais baixos. Ou seja, um teste RM-Anova para A é equivalente a um Anova padrão nos dados médios. Então, podemos comparar modelos da maneira usual.

> library(plyr)
> d2 <- ddply(d, ~Xw1 + id, summarize, Y=mean(Y))
> a1 <- aov(Y ~ id, d2)
> a2 <- aov(Y ~ Xw1+id, d2)
> anova(a1, a2)
Analysis of Variance Table

Model 1: Y ~ id
Model 2: Y ~ Xw1 + id
  Res.Df   RSS Df Sum of Sq      F    Pr(>F)    
1     40 55475                                  
2     38 23717  2     31758 25.442 9.734e-08 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Como alternativa, é possível ajustar o máximo aovcom todos os dados, mas sem o termo de interesse, e comparar o ajuste com o total aovcom o termo de interesse, mas, para comparar os modelos, é necessário escolher o nível do modelo que você deseja. mudou (aqui o id:Xw1nível) e então você pode comparar esses dois modelos.

> summary(aov(Y ~ 1 + Error(id/Xw1), d))

Error: id
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 19  31359    1650               

Error: id:Xw1
          Df Sum Sq Mean Sq F value Pr(>F)
Residuals 40 166426    4161               

Error: Within
           Df Sum Sq Mean Sq F value Pr(>F)
Residuals 120 340490    2837               
> (F <- ((166426 - 71151)/2) / (71151/38))
[1] 25.44202
> pf(F, 2, 38, lower=FALSE)
[1] 9.732778e-08

Esta nota depende dos resultados contidos nos modelos lineares de Moser: uma abordagem do modelo médio . Vou citar alguns resultados deste livro a seguir. Quando vi sua pergunta, comecei a examinar o livro: esta nota é exatamente como meus pensamentos foram organizados depois.

Seja a resposta, com contendo os efeitos fixos e contendo os efeitos aleatórios.$y \sim \mathcal{N}_n(\mu, \Sigma)$$\mu$$\Sigma$

Tome como a soma dos quadrados correspondentes a cada termo (covariáveis ​​e interações) no modelo. Observe que essas somas de quadrados são invariantes se os termos são fixos ou aleatórios. Suponha que cada seja simétrico e idempotente, o que será verdade na maioria dos modelos de interesse.$y^T A_i y$$A_i$

Quando se afirma que que equivale à soma de quadrados correspondentes a uma decomposição em subespaços ortogonais, desde que assumimos que são projetores, e pelo teorema de Cochran (lema 3.4. 1), para e é independente de para .

$$I = \sum_i A_i,$$ $A_i$ $$\Sigma = \sum_i c_i A_i,$$ $$\begin{equation} y^T A_i y \sim c_i \chi^2_{d_i} (\mu^T A_i \mu/c_i), \end{equation}$$ $d_i = tr(A_i)$$y^T A_j y$$y^T A_k y$$j \ne k$

O termo é de fato uma estatística (central) se e somente se Quando essas três condições são satisfeitas, podemos calcular os valores de correspondentes à estatística . Esses termos basicamente auxiliam na computabilidade, pois os dependem dos componentes de variância e os parâmetros de não centralidade dependem da média . A segunda condição garante que

$$\tilde{F} = \frac{y^T A_j y / d_j}{y^T A_k y / d_k} \sim \frac{c_j \chi_{d_j}^2(\mu^T A_j \mu / c_j)/d_j}{c_k \chi_{d_k}^2(\mu^T A_k \mu / c_k)/d_k}$$ $F$ $$\begin{align*} \frac{c_j}{c_k} & = 1 , \tag{1} \\ \mu^T A_j \mu & = 0 , \tag{2} \\ \mu^T A_k \mu & = 0 , \textrm{ and }\tag{3} \end{align*}$$ $p$$\tilde{F}$$c_i$$\mu$$\tilde{F}$ terá (pelo menos) uma distribuição não central . Sob a segunda condição, a terceira condição indica que tem uma distribuição central .$F$$\tilde{F}$$F$

Os quadrados médios esperados ( ) correspondentes à soma dos quadrados é onde devido à cor 3.1.2. A proporção se as condições , e forem mantidas. É por isso que as pessoas inspecionam a proporção de$\mathrm{EMS}$$i^\mathrm{th}$$y^T A_i y$

$$\mathrm{EMS}_i := \frac{1}{tr(A_i)} \mathbb{E} [y^T A_i y] = \frac{tr(A_i \Sigma) + \mu^T A_i \mu}{tr(A_i)} = c_i + \frac{\mu^T A_i \mu}{tr(A_i)},$$ $tr(A_i\Sigma) = c_i \, tr(A_i)$ $$\frac{\mathrm{EMS}_j}{\mathrm{EMS}_k} = \frac{c_j + \frac{\mu^T A_j \mu}{tr(A_j)}}{c_k + \frac{\mu^T A_k \mu}{tr(A_k)}} = 1$$ $(1)$$(2)$$(3)$$\mathrm{EMS}$ao determinar quais somas de quadrados dividir para formar uma estatística para testar uma hipótese nula específica.$F$

Usamos as condições e para especificar a hipótese nula. Na minha experiência, quando o termo (correspondente a ) que estamos interessados ​​em testar é aleatório, tornamos a hipótese nula e, quando é fixo, fazemos a hipótese nula ser . Em particular, isso significa que podemos escolher para que as demais condições e sejam satisfeitas. Essa escolha de nem sempre é possível, o que leva a dificuldades semelhantes a Behrens-Fisher .$(1), (2)$$(3)$$j$$c_j/c_k = 1$$y^T A_j y = 0$$k$$(1), (2)$$(3)$$k$

Isso não explica nada particularmente relacionado ao problema em questão, mas isso equivale apenas à computação e . Espero que isso seja visto como uma maneira útil de pensar sobre o problema. Observe que o exemplo 4.4.1 calcula quais são todas as quantidades acima no exemplo ANOVA bidirecional.$\mu$$\Sigma$

A diferença se deve à estrutura do problema e não à convenção. Essas abordagens diferentes (medida bidirecional versus medida repetida) alteram e , que altera o EMS, que altera qual escolhemos para construir o teste.$\mu$$\Sigma$$k$

---

Vamos considerar o modelo que indica o nível de , etc. Aqui indica quais das 3 réplicas estão sendo consideradas.

$$\begin{equation} y_{ijk} = \mu_0 + \mathrm{id}_i + \mathrm{Xw1}_{j} + \mathrm{id * Xw1}_{ij} + \mathrm{R(id * Xw1)}_{k(ij)}, \end{equation}$$ $i$$\mathrm{id}$$k$

Agora, apresentamos algumas notações úteis: escreva . Como esses dados são equilibrados, podemos criar uma notação de produto kronecker . (Além disso, me disseram que Charlie Van Loan uma vez chamou o produto kronecker de "a operação dos anos 2000!") Defina para ser a matriz com todas as entradas iguais a e para ser a matriz centralizadora. (A matriz de centralização é assim chamada, pois, por exemplo, para um vetor .)$y = (y_{111}, y_{112}, y_{113}, y_{121}, \dots y_{20,3,3})$$\bar{J} \in \mathbb{R}^{m \times m}$$\frac{1}{m}$$C=I-\bar{J}$$\|C x \|_2^2 = \sum_i (x_i - \bar{x})^2$$x$

Com esta notação do produto kronecker sob a faixa, podemos encontrar as matrizes mencionadas acima. A soma dos quadrados que corresponde a é onde o primeiro componente , o segundo está em e o terceiro em . De um modo geral, as matrizes nesses componentes sempre terão esse tamanho. Além disso, a soma dos quadrados devido a é $A_i$$\mu_0$

$$\begin{equation} SS(\mu_0) = n (\bar{y}_{\cdot\cdot\cdot})^2 = \|(\bar{J} \otimes \bar{J} \otimes \bar{J}) y\|_2^2 = y^T (\bar{J} \otimes \bar{J} \otimes \bar{J}) y, \end{equation}$$ $\bar{J} \in \mathbb{R}^{20 \times 20}$$\mathbb{R}^{3 \times 3}$$\mathbb{R}^{3 \times 3}$$\mathrm{id}$ $$\begin{equation} SS(\mathrm{id}) = \sum_{ijk} (\bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot \cdot \cdot})^2 = \|(C \otimes \bar{J} \otimes \bar{J}) y\|_2^2 = y^T (C \otimes \bar{J} \otimes \bar{J}) y. \end{equation}$$ Observe que o realmente mede a variação entre os níveis de . Da mesma forma, as outras matrizes são , e .$SS(\mathrm{id})$$\mathrm{id}$$A_{Xw1} = \bar{J} \otimes C \otimes \bar{J}$$A_{id * Xw1} = C \otimes C \otimes \bar{J}$$A_{R()} = I \otimes I \otimes C$

Isso mostra ser consistente com a aovexecução do código para fornecer, por exemplo, a soma residual dos quadrados :$SS(\mathrm{R(id * Xw1)}) = y^T A_{R()} y$

mY <- c()
for(j in 1:(nrow(d)/3)) {
  mY <- c(mY, rep(mean(d$Y[3*(j-1)+(1:3)]), 3))
}
sum((d$Y - mY)^2) #this is the residual sum of squares

Neste ponto, temos que fazer algumas escolhas de modelagem. Em particular, temos que decidir se é um efeito aleatório. Vamos supor primeiro que não seja um efeito aleatório, para que todos os efeitos além da replicação sejam corrigidos. Então e . Observe que não há dependência entre observações distintas. Em notação vetorial, podemos escrever para e$\mathrm{id}$

$$\begin{equation} \mathbb{E} [y_{ijk}] = \mu_{ij} = \mu_0 + \mathrm{id}_i + \mathrm{Xw1}_{jk} + \mathrm{id * Xw1}_{ij} \end{equation}$$ $R(\mathrm{id * Xw1})_{k(ij)} \sim_{iid} \mathcal{N}(0, \sigma^2)$ $$y \sim \mathcal{N} (\mu, \Sigma)$$ $\mu = \mathbb{E} [y] = (\mu_{11}, \mu_{12}, \dots, \mu_{20,3}) \otimes \mathbf{1}_{3}$$\Sigma = \sigma^2 (I \otimes I \otimes I)$ .

Observando que a soma de todos os dos definidos acima é a identidade, sabemos pelo teorema de Cochran que, entre outras coisas, e e essas somas de quadrados são independentes.$5$$A$

$$SS(\mathrm{Xw1}) = y^T A_{Xw1} y \sim \sigma^2 \chi^2_{(19)(1)(1)} (\mu^T A_{Xw1} \mu / \sigma^2)$$ $$SS(\mathrm{R(id * Xw1)}) = y^T A_{R()} y \sim \sigma^2 \chi^2_{(20)(3)(2)} (\mu^T A_{R()} \mu / \sigma^2)$$

Agora, de acordo com o que discutimos acima, queremos que as condições e sejam mantidas. Observe que a condição é válida (porque não há outros componentes de variação para complicar as coisas.) O que é realmente legal de notar agora é que , pois é constante ao longo deste terceiro "componente" que está sendo centralizado por . Isso significa que está atrás de nós. Portanto, só precisamos nos preocupar com a condição : se a assumirmos (como hipótese nula), assumiremos que , que é o mesmo que$(1), (2),$$(3)$$(1)$$\mu^T A_{R()} \mu = 0$$\mu$$A_{R()}$$(3)$$(2)$$0 = \mu^T A_{Xw1} \mu = \sum_{ijk} (\mu_{ij} - \bar{\mu}_{i \cdot})^2$$\mu_{ij} = \bar{\mu}_{i \cdot}$ para todos os , que é o mesmo que e para todos os (já que o nível médio está nos outros termos.)$i,j$$\mathrm{Xw1}_j = 0$$\mathrm{id * Xw1}_{ij} = 0$$i,j$

Em resumo, a hipótese nula pode ser vista apenas testando se um parâmetro de não centralidade é zero, o que equivale a efeitos relativos à covariada sendo zero. O caso de medidas repetidas segue uma linha de raciocínio semelhante, na qual escolhemos modelar que o efeito é aleatório. Lá, a condição se tornará a hipótese nula.$\mathrm{id}$$(1)$

Relacionado ao Rcomando, como você mencionou nos comentários da postagem original, este termo de erro apenas especifica quais termos devem ser considerados como efeitos aleatórios. (Observe que todos os termos que devem ser incluídos no modelo devem ser claramente inseridos ou inseridos dentro do Error()termo. É por isso que há uma diferença entre id/Xw1 = id + id:Xw1e idestar no Errortermo. Termos não incluídos são agrupados com o erro no sentido de que é rotulado como .)$A_{R()} + A_{id * Xw1}$$A_{R()}$

---

Aqui estão os detalhes explícitos relacionados ao caso de medidas repetidas, em que os termos relacionados a (que são e ) são aleatórios. Veremos que esse é o caso mais interessante.$\mathrm{id}$$\mathrm{id}$$\mathrm{id * Xw1}$

Lá temos a mesma soma de matrizes de quadrados (uma vez que elas não dependem se um fator é fixo ou aleatório.) A matriz de covariância existe que

$$\begin{align*} \Sigma & \stackrel{(a)}{=} \sigma^2_{id} (I \otimes J \otimes J) + \sigma^2_{id * Xw1} (I \otimes C \otimes J) + \sigma^2_{R()} (I \otimes I \otimes I) \\ & = \sigma^2_{id} (3)(3) (A_{\mu_0} + A_{id}) + \sigma^2_{id * Xw1} (3) (A_{Xw1} + A_{id * Xw1}) + \sigma^2_{R()} (A_{\mu_0} + A_{id} + A_{Xw1} + A_{id * Xw1} + A_{R()}) \\ & = ((3)(3)\sigma^2_{id} + \sigma^2_{R()})A_{\mu_0} + ((3)(3)\sigma^2_{id} + \sigma^2_{R()}) A_{id} + ((3)\sigma^2_{id * Xw1} + \sigma^2_{R()}) A_{Xw1} + ((3)\sigma^2_{id * Xw1} + \sigma^2_{R()}) A_{id * Xw1} + \sigma^2_{R()} A_{R()}, \end{align*}$$ $J$é a matriz de todos. O primeiro e o último somatório no lado direito da igualdade (a) oferecem explicações intuitivas: o primeiro somatório mostra que há uma fonte adicional de correlação entre observações com o mesmo e o terceiro somatório, como no exemplo de mão dupla, a fonte básica de variação. Essa segunda soma é menos intuitiva, mas entre observações com o mesmo \ mathrm {id}, pode ser vista como variação crescente entre observações com o mesmo enquanto diminui a variação entre observações com diferentes , devido a a forma de .$\mathrm{id}$$\mathrm{Xw1}$$\mathrm{Xw1}$$I \otimes C \otimes J$

Além disso, como todos os termos relacionados a são aleatórios, a média se deve a , de modo que ou .$\mathrm{id}$$\mathrm{Xw1}$$\mathbb{E} [y_{ijk}] = \mu_{j} = \mu_0 + \mathrm{Xw1}_j$$\mu = \mathbf{1} \otimes (\mu_1, \mu_2, \mu_3) \otimes \mathbf{1}$

Observe que, relacionado à condição : temos enquanto Além disso, relacionado à condição ambos e . Também relacionado à condição : vemos que $(1)$

$$\frac{c_{Xw1} }{c_{id * Xw1}} = \frac{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}}{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}} = 1,$$ $$\frac{c_{Xw1}}{c_{R()}} = \frac{(3)\sigma^2_{id*Xw1} + \sigma^2_{R()}}{\sigma^2_{R()}} \neq 1.$$ $(3)$$\mu^T A_{Xw1*id} \mu = 0$$\mu^T A_{R()} \mu = 0$$(2)$ $$\begin{align*} \mu^T A_{Xw1} \mu & = \|A_{Xw1} \mu\|_2^2 \\ & = \|(\bar{J} \otimes C \otimes \bar{J}) (\mathbf{1} \otimes (\mu_1, \mu_2 \mu_3)' \otimes \mathbf{1}) \|_2^2 \\ & = (20)(3) \|C (\mu_1, \mu_2 \mu_3)'\|_2^2 \\ & = (20)(3) \sum_j (Xw1_j)^2. \end{align*}$$

Portanto, se a soma dos quadrados do denominador fosse o como antes, haveria ambas as condições e na hipótese nula - uma vez que essas são as duas condições que não estão satisfeitos sem suposições. No entanto, se usarmos a soma dos quadrados do denominador como interação, uma vez que a condição já está satisfeita, a hipótese nula seria apenas a condição . Então, como você mencionou na sua pergunta, esses denominadores diferentes equivalem apenas a diferentes hipóteses nulas. ( 1 ) ( 2 ) ( 1 ) ( 2 $\mathrm{R(id * Xw1)}$$(1)$$(2)$$(1)$$(2)$

Essa técnica de análise que usamos permite que a escolha de qual hipótese nula está sendo testada seja transparente. De fato, podemos ver isso escrevendo as condições mencionadas no parágrafo anterior mais explicitamente. Usando o denominador como a soma dos quadrados dos resíduos forças dos EUA para testar para todo e , enquanto estiver usando o denominador como a soma interação de quadrados nos permite simplesmente testar para todos .j σ 2 i d ∗ X w 1 = 0 X w 1 j = 0 $Xw1_j = 0$$j$ $\sigma^2_{id * Xw1} = 0$$Xw1_j = 0$$j$