Por que usar a estatística F?

Podemos usar a estatística F para determinar se pelo menos um dos preditores afeta a resposta. Mas por que não levar um valor p mínimo em todos os preditores? Não requer a introdução de um novo conceito.

Aqui, presumo que você pretenda comparar algum teste com base no valor-p mínimo com um teste-F geral.

1. $\alpha$

2. $\alpha$

3. Mesmo que você não considere os vários testes alterando o nível de significância, as estatísticas univariadas podem facilmente ser insignificantes quando há um claro relacionamento conjunto envolvendo os dois.

Aqui está um exemplo. Primeiro, alguns dados:

y:
 4.941, 4.459, 4.116, 3.759, 5.171, 5.101, 5.454, 5.277, 5.402, 
 4.68, 3.433, 5.508, 4.122, 3.355, 3.622, 4.45, 4.872, 4.202, 
 5.276, 4.415, 5.311, 4.105, 3.282, 4.152, 5.416, 4.615, 3.804, 
 5.299, 4.603, 4.868

x1:
 42.305, 16.828, 46.515, 32.567, 40.827, 45.755, 34.227, 43.799, 
 54.659, 34.991, 15.134, 29.115, 20.617, 1.252, 25.844, 19.563, 
 21.53, 22.989, 38.993, 44.955, 30.799, 32.639, 8.707, 46.945, 
 38.992, 25.717, 40.875, 26.049, 36.121, 39.868

x2:
 24.279, 8.844, 27.888, 19.099, 23.732, 28.648, 19.26, 26.578, 
 32.764, 21.302, 8.583, 17.026, 12.047, 0.085, 16.636, 10.021, 
 12.487, 13.745, 23.557, 26.67, 19.881, 20.23, 4.377, 27.865, 
 23.359, 15.006, 25.909, 14.772, 21.5, 23.002

Saída de regressão (de R :)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  3.47760    0.32703  10.634 3.74e-11 
x1           0.14999    0.09194   1.631    0.114    
x2          -0.19524    0.14741  -1.324    0.196    
---    
Residual standard error: 0.5884 on 27 degrees of freedom
Multiple R-squared:  0.3167,    Adjusted R-squared:  0.2661 
F-statistic: 6.257 on 2 and 27 DF,  p-value: 0.005851

O menor valor p é 0,114 - você não teria rejeitado a hipótese nula de nenhuma associação, mesmo no nível de significância de 10%, mas a regressão geral levaria à rejeição, mesmo se o seu nível de significância fosse de 1%. Isso sem sequer lidar com o problema de vários testes.

Também não ajuda ajudar a executar regressões separadas e verificar valores-p, porque (em um exemplo diferente do exemplo acima) é bem possível que não haja relação nas regressões univariadas, enquanto há uma forte relação na regressão bivariada .