Como justificar o termo de erro na ANOVA fatorial?

Uma pergunta provavelmente muito básica sobre ANOVA multifatorial. Suponha um design bidirecional no qual testamos os efeitos principais A, B e a interação A: B. Ao testar o efeito principal de A com SS tipo I, o efeito SS é calculado como a diferença , em que é a soma dos quadrados dos erros residuais do modelo com apenas a interceptação, e o RSS do modelo com o fator A adicionado. Minha pergunta diz respeito à escolha do termo de erro:$RSS(1) - RSS(A)$$RSS(1)$$RSS(A)$

Como você justifica que o termo de erro para este teste é normalmente calculado a partir do RSS do modelo completo A + B + A: B que inclui os efeitos principais e a interação?

... em vez de tirar o termo de erro do modelo irrestrito da comparação real (RSS do efeito principal A no caso acima):

Isso faz a diferença, pois o termo de erro do modelo completo é provavelmente (nem sempre) menor do que o termo de erro do modelo irrestrito na comparação. Parece que a escolha pelo termo do erro é um tanto arbitrária, criando espaço para as alterações desejadas no valor p apenas adicionando / removendo fatores que não são realmente interessantes, mas altere o termo do erro de qualquer maneira.

No exemplo a seguir, o valor F para A muda consideravelmente, dependendo da escolha do modelo completo, mesmo que a comparação real para o efeito SS permaneça a mesma.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

A mesma pergunta se aplica ao SS tipo II e, em geral, a uma hipótese linear geral, ou seja, a uma comparação de modelo entre um modelo restrito e um irrestrito dentro de um modelo completo. (Para SS tipo III, o modelo irrestrito é sempre o modelo completo, portanto a questão não surge lá)

Esta é uma pergunta muito antiga e acredito que a resposta de @ gung é muito boa (+1). Mas como não foi totalmente convincente para o @caracal e como também não sigo completamente todos os seus meandros, gostaria de fornecer uma figura simples que ilustra como entendo o problema.

Considere uma ANOVA de duas vias (fator A tem três níveis, fator B tem dois níveis), sendo ambos os fatores obviamente muito significativos:

SS para o fator A é enorme. SS para o fator B é muito menor, mas, a partir da figura superior, fica claro que o fator B também é muito significativo.

O erro SS para o modelo que contém os dois fatores é representado por um dos seis gaussianos e, ao comparar SS para o fator B com esse erro SS, o teste conclui que o fator B é significativo.

O erro SS do modelo que contém apenas o fator B, no entanto, é enorme! Comparando SS para o fator B com esse erro maciço, o SS definitivamente fará com que B pareça não significativo. O que claramente não é o caso.

É por isso que faz sentido usar o erro SS do modelo completo.

Atualização: para esclarecer alguns dos pontos que passo aqui, adicionei alguns links para locais onde discuto as idéias relevantes mais detalhadamente.

$RSS_{A}$$SS_{A}$$MS_{A}$$MS_{A+B+A*B}$

$RSS_{full}$$MS_{A+B+A*B} > MS_{A+B}$$SS_{A*B} = 14.19$$df_{R}$. No entanto, eliminar fatores do modelo que não são significativos para obter o termo de erro correto é logicamente equivalente a um procedimento de pesquisa automática de modelo, mesmo se você não tiver o software, faça isso automaticamente para você. Você deve saber que existem muitos problemas ao fazer isso. Esses problemas e procedimentos alternativos são discutidos em outra parte do CV ³ .

Um tópico final diz respeito aos diferentes tipos de SS. Em primeiro lugar, o uso de diferentes tipos de SS não impede que você precise de uma justificativa lógica para sua análise. Além disso, as SS tipo I-III estão relacionadas a um problema diferente. No seu exemplo, deduzo que seus fatores são ortogonais, ou seja, você executou um experimento em que atribuiu n igual a cada combinação de níveis de fatores. No entanto, se você realizar um estudo observacional ou se tiver problemas de abandono, seus fatores serão correlacionados. As implicações disso são que não há uma maneira única de particionar o SS e, portanto, não há uma resposta única para suas análises produzirem. Em outras palavras, os vários tipos de SS têm a ver com diferentes numeradores possíveis para o seu teste F quando seus fatores estão correlacionados ⁴ .

<sub>1. Observe que, com modelos de vários níveis, um fator pode ser teorizado para incluir variabilidade de outros fatores, dependendo de como o modelo é especificado. Estou discutindo a ANOVA comum aqui, e é sobre isso que você parece estar se perguntando.
2. Veja: Como a adição de um 2º IV torna o 1º IV significativo?
3. Consulte: Algoritmos para seleção automática de modelo .
4. Veja: Como interpretar ANOVA e MANOVA tipo I (seqüencial)?</sub>

A justificativa é que o fator A está explicando uma porcentagem maior da variação inexplicada no modelo A + B em comparação com o modelo A, uma vez que o fator B explica uma parcela significativa (e, portanto, 'a remove' da análise).