Por que a regressão polinomial é considerada um caso especial de regressão linear múltipla?

Se a regressão polinomial modela relações não lineares, como pode ser considerado um caso especial de regressão linear múltipla?

A Wikipedia observa que "Embora a regressão polinomial ajuste um modelo não linear aos dados, como um problema de estimativa estatística é linear, no sentido de que a função de regressão é linear nos parâmetros desconhecidos estimados. dos dados ".$\mathbb{E}(y | x)$

Como a regressão polinomial é linear nos parâmetros desconhecidos se os parâmetros são coeficientes para termos com a ordem 2?$\ge$

Quando você ajusta um modelo de regressão como , o modelo e o estimador OLS não 'sabem' que é simplesmente o quadrado de , apenas 'pensa' que é outra variável. É claro que há alguma colinearidade, que é incorporada ao ajuste (por exemplo, os erros padrão são maiores do que poderiam ser), mas muitos pares de variáveis ​​podem ser um pouco colineares, sem que uma seja função da outra. x 2 i x$\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$$x^2_i$$x_i$

Nós não reconhecemos que há realmente duas variáveis independentes no modelo, porque nós sabemos que é em última análise, a mesma variável como que transformou e incluiu a fim de capturar uma relação curvilínea entre e . Esse conhecimento da verdadeira natureza de , juntamente com a nossa crença de que existe uma relação curvilínea entre e é o que dificulta a compreensão de como ainda é linear da perspectiva do modelo. Além disso, visualizamos e x i x i y i x 2 i x i y i x i x 2 i x , $x^2_i$$x_i$$x_i$$y_i$$x^2_i$$x_i$$y_i$$x_i$$x^2_i$juntos, olhando para a projeção marginal da função 3D no plano 2D . $x, y$

Se você tiver apenas e , tente visualizá-los em todo o espaço 3D (embora ainda seja bastante difícil realmente ver o que está acontecendo). Se você visse a função ajustada no espaço 3D completo, veria que a função ajustada é um plano 2D e, além disso, é um plano. Como eu disse, é difícil ver bem, porque os dados existem apenas ao longo de uma linha curva que atravessa o espaço 3D (esse fato é a manifestação visual de sua colinearidade). Podemos tentar fazer isso aqui. Imagine que este é o modelo ajustado: x 2 i x i , x 2 $x_i$$x^2_i$$x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

Pode ser mais fácil ver nessas imagens, que são capturas de tela de uma figura 3D girada feita com os mesmos dados usando o rglpacote.

Quando dizemos que um modelo "linear nos parâmetros" é realmente linear, isso não é apenas um sofisma matemático. Com variáveis, você está ajustando um hyperplane dimensional em uma hiperespaço dimensional (no nosso exemplo um plano 2D em um espaço 3D). Esse hiperplano é realmente 'plano' / 'linear'; não é apenas uma metáfora. p $p$$p$$p\!+\!1$

$y = a + bx + cx^2$$x$$a$$b$$c$$y = \sum_{i=0}^N a_i h_i(x)$$h_i$$x$$h_i$$x$