Lógica por trás do teste F ANOVA em regressão linear simples

Estou tentando entender a lógica por trás do teste F da ANOVA na análise de regressão linear simples. A pergunta que tenho é a seguinte. Quando o valor F, ou seja, MSR/MSEé grande, aceitamos o modelo como significativo. Qual é a lógica por trás disso?

No caso mais simples, quando você tem apenas um preditor (regressão simples), digamos , o teste F informa se a inclusão de X 1 explica uma parte maior da variação observada em Y em comparação com o modelo nulo (somente interceptação) . A idéia é testar se a variação explicada adicionada (variação total, TSS, variação residual residual, RSS) é grande o suficiente para ser considerada como uma "quantidade significativa". Estamos aqui comparando um modelo com um preditor, ou variável explicativa, com uma linha de base que é apenas "ruído" (nada exceto a grande média).$X_1$$F$$X_1$$Y$

Da mesma forma, você pode calcular uma estatística em uma configuração de regressão múltipla: nesse caso, isso equivale a um teste de todos os preditores incluídos no modelo, o que, sob a estrutura HT, significa que nos perguntamos se algum deles é útil na previsão da resposta. variável. Essa é a razão pela qual você pode encontrar situações em que o teste F para todo o modelo é significativo, enquanto alguns dos testes t ou z associados a cada coeficiente de regressão não são.$F$$F$$t$$z$

A estatística parece$F$

onde é o número de parâmetros de modelo e n o número de observações. Esta quantidade deve ser referida a uma distribuição F p - 1 , n - p para um valor crítico ou p . Aplica-se também ao modelo de regressão simples e obviamente possui alguma analogia com a estrutura clássica da ANOVA.$p$$n$$F_{p-1,n-p}$$p$

Nota. Quando você possui mais de um preditor, pode se perguntar se considerar apenas um subconjunto desses preditores "reduz" a qualidade do ajuste do modelo. Isso corresponde a uma situação em que consideramos modelos aninhados . Essa é exatamente a mesma situação das anteriores, onde comparamos um determinado modelo de regressão com um modelo nulo (sem preditores incluídos). Para avaliar a redução na variância explicada, podemos comparar a soma residual dos quadrados (RSS) de ambos os modelos (ou seja, o que é deixado inexplicável depois que você explica o efeito dos preditores presentes no modelo). Seja e M 1 denotam o modelo base (com $\mathcal{M}_0$$\mathcal{M}_1$$p$parâmetros) e um modelo com um preditor adicional ( parâmetros); se o RSS M 1 - RSS M 0 for pequeno, consideraríamos que o modelo menor tem um desempenho tão bom quanto o maior. Uma boa estatística para utilização seria a proporção de tais SS, ( RSS M 1 - RSS H 0 ) / RSS M 0 , ponderados pelos seus graus de liberdade ( p - q para o numerador, e n - $q=p+1$$\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0}$$(\text{RSS}_{\mathcal{M}_1}-\text{RSS}_{\mathcal{M}_0})/\text{RSS}_{\mathcal{M}_0}$$p-q$$n-p$para o denominador). Como já foi dito, pode ser demonstrado que essa quantidade segue uma distribuição (ou Fisher-Snedecor) com graus de liberdade p - q e n - p . Se o F observado for maior que o quantil F correspondente em um dado α (normalmente, α = 0,05 ), concluiríamos que o modelo maior faz um "trabalho melhor". (Isso não significa que o modelo esteja correto, do ponto de vista prático!)$F$$p-q$$n-p$$F$$F$$\alpha$$\alpha=0.05$

Uma generalização da idéia acima é o teste da razão de verossimilhança .

Se você estiver usando R, poderá jogar com os conceitos acima, como este:

df <- transform(X <- as.data.frame(replicate(2, rnorm(100))), 
                                   y = V1+V2+rnorm(100))
## simple regression
anova(lm(y ~ V1, df))         # "ANOVA view"
summary(lm(y ~ V1, df))       # "Regression view"
## multiple regression
summary(lm0 <- lm(y ~ ., df))
lm1 <- update(lm0, . ~ . -V2) # reduced model
anova(lm1, lm0)               # test of V2