O que é erro padrão residual?

Ao executar um modelo de regressão múltipla em R, uma das saídas é um erro padrão residual de 0,0589 em 95.161 graus de liberdade. Eu sei que os 95.161 graus de liberdade são dados pela diferença entre o número de observações na minha amostra e o número de variáveis ​​no meu modelo. Qual é o erro padrão residual?

Um modelo de regressão ajustado usa os parâmetros para gerar previsões de estimativa pontual, que são os meios das respostas observadas se você replicar o estudo com os mesmos valores um número infinito de vezes (e quando o modelo linear for verdadeiro). A diferença entre esses valores previstos e os usados ​​para ajustar o modelo é chamada de "resíduos" que, ao replicar o processo de coleta de dados, possuem propriedades de variáveis ​​aleatórias com média de 0.$X$

Os resíduos observados são então utilizados para estimar subsequentemente a variabilidade nesses valores e para estimar a distribuição amostral dos parâmetros. Quando o erro padrão residual é exatamente 0, o modelo se ajusta perfeitamente aos dados (provavelmente devido ao sobreajuste). Se não for possível demonstrar que o erro padrão residual é significativamente diferente da variabilidade na resposta incondicional, há pouca evidência para sugerir que o modelo linear tenha alguma capacidade preditiva.

Digamos que temos a seguinte tabela ANOVA (adaptada do example(aov)comando R ):

          Df Sum Sq Mean Sq F value Pr(>F)
Model      1   37.0   37.00   0.483  0.525
Residuals  4  306.3   76.57               

Se você dividir a soma dos quadrados de qualquer fonte de variação (modelo ou resíduo) por seus respectivos graus de liberdade, obterá o quadrado médio. Especialmente para os resíduos:

Então 76,57 é o quadrado médio dos resíduos, ou seja, a quantidade de variação residual (após a aplicação do modelo) em sua variável de resposta.

O erro padrão residual que você perguntou nada mais é que a raiz quadrada positiva do erro quadrado médio , ou aproximadamente 8,75. R produziria essa informação como "8,75 em 4 graus de liberdade".$\sqrt{76.57}$

$\beta_{0}$$\beta_{1}$$\epsilon$$\epsilon$ .

O RSE é explicado com muita clareza em "Introdução à aprendizagem estatística".