Na regressão linear, por que devemos incluir termos quadráticos quando estamos interessados ​​apenas em termos de interação?

Suponha que eu esteja interessado em um modelo de regressão linear, para , porque gostaria de ver se uma interação entre as duas covariáveis ​​afeta Y.

Nas anotações do curso de um professor (com quem não tenho contato), ele declara: Ao incluir termos de interação, você deve incluir os termos de segundo grau. ie deve ser incluído na regressão.

Por que devemos incluir termos de segundo grau quando estamos interessados ​​apenas nas interações?

Depende do objetivo da inferência. Se você deseja inferir se existe uma interação, por exemplo, em um contexto causal (ou, de maneira mais geral, se você deseja interpretar o coeficiente de interação), essa recomendação do seu professor faz sentido e vem do fato de que a especificação incorreta da forma funcional pode levar a inferências erradas sobre a interação .

Aqui está um exemplo simples em que não há termo de interação entre e na equação estrutural de ; no entanto, se você não incluir o termo quadrático de , concluiria erroneamente que interage com quando, na verdade, não ' t.$x_1$$x_2$$y$$x_1$$x_1$$x_2$

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

Isso pode ser interpretado como simplesmente um caso de viés de variável omitida, e aqui é a variável omitida. Se você voltar e incluir o termo quadrado em sua regressão, a interação aparente desaparecerá.$x_1^2$

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

Certamente, esse raciocínio se aplica não apenas a termos quadráticos, mas a especificação incorreta da forma funcional em geral. O objetivo aqui é modelar a função de expectativa condicional adequadamente para avaliar a interação. Se você estiver se limitando à modelagem com regressão linear, precisará incluir esses termos não lineares manualmente. Mas uma alternativa é usar modelagem de regressão mais flexível, como a regressão de crista do kernel, por exemplo.

Os dois modelos que você listou em sua resposta podem ser reexpressos para deixar claro como o efeito de é postulado para depender de (ou o contrário) em cada modelo.$X_1$$X_2$

O primeiro modelo pode ser reexpresso assim:

que mostra que, neste modelo, é assumido como tendo um efeito linear em (controlando o efeito de ), mas a magnitude desse efeito linear - capturada pelo coeficiente de inclinação de - muda linearmente em função de . Por exemplo, o efeito de em pode aumentar em magnitude à medida que os valores de aumentam.$X1$$Y$$X_2$$X_1$$X_2$$X_1$$Y$$X_2$

O segundo modelo pode ser reexpresso assim:

o que mostra que, nesse modelo, o efeito de em (controlando o efeito de ) é assumido como quadrático, e não linear. Esse efeito quadrático é capturado pela inclusão de e no modelo. Enquanto o coeficiente de é considerado independente de , o coeficiente de é considerado como linearmente dependente de .$X_1$$Y$$X_2$$X_1$$X_1^2$$X_1^2$$X_2$$X_1$$X_2$

O uso de qualquer um dos modelos implicaria que você está fazendo suposições completamente diferentes sobre a natureza do efeito de em (controlando o efeito de ).$X_1$$Y$$X_2$

Geralmente, as pessoas se encaixam no primeiro modelo. Eles podem plotar os resíduos desse modelo contra e em turnos. Se os resíduos revelarem um padrão quadrático nos resíduos em função de e / ou , o modelo poderá ser aumentado de acordo para incluir e / ou (e possivelmente a interação deles).$X_1$$X_2$$X_1$$X_2$$X_1^2$$X_2^2$

Observe que simplifiquei a notação usada para consistência e também expliquei o termo de erro nos dois modelos.