Intuição atrás de na forma fechada de w em Regressão Linear

A forma fechada de w na regressão linear pode ser escrita como

$\hat{w}=(X^TX)^{-1}X^Ty$

Como podemos explicar intuitivamente o papel de nessa equação?$(X^TX)^{-1}$

Achei essas postagens particularmente úteis:

Como derivar o estimador de mínimos quadrados para regressão linear múltipla?

Relação entre SVD e PCA. Como usar o SVD para executar o PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Se é uma matriz, em seguida, a matriz define uma projecção para o espaço de coluna de . Intuitivamente, você tem um sistema de equações sobredeterminado, mas ainda deseja usá-lo para definir um mapa linear que mapeie as linhas de para algo próximo aos valores , . Então, decidimos enviar para a coisa mais próxima de que pode ser expressa como uma combinação linear de seus recursos (as colunas de ). n × p X ( X T X ) - 1 X T X R p → R x i X y i i ∈ { 1 , … , n } X y $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$$X$$y$$X$

Quanto à interpretação de , ainda não tenho uma resposta incrível. Eu sei que você pode pensar em como sendo basicamente a matriz de covariância do conjunto de dados. ( X T X $(X^TX)^{-1}$$(X^TX)$

Ponto de vista geométrico

Um ponto de vista geométrica pode ser como as n-dimensional vectores e sendo em pontos n-dimensional no espaço . Onde também está no subespaço abrangido pelos vetores .X β V X β$y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Dois tipos de coordenadas

Para este subespaço , podemos imaginar dois tipos diferentes de coordenadas :$W$

• O$\boldsymbol{\beta}$ são como coordenadas para um espaço regular de coordenadas. O vetor no espaço é a combinação linear dos vetoresW x i z = β 1 x 1 + β 2 x 1 + . . . . β m x $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• O$\boldsymbol{\alpha}$ não são coordenadas no sentido de regular, mas eles definir um ponto no subespaço . Cada refere-se às projeções perpendiculares nos vetores . Se usarmos vetores unitários (para simplificar), as "coordenadas" para um vetor podem ser expressas como:α i x i x i α i$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  e o conjunto de todas as coordenadas como:

Mapeamento entre coordenadas e$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

para a expressão de "coordenadas" se torna uma conversão de coordenadas para "coordenadas"$\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Você pode ver expressando quanto cada projeta no outro$(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Então a interpretação geométrica de pode ser vista como o mapa da projeção vetorial "coordenadas" até coordenadas lineares .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

A expressão fornece a projeção "coordenadas" de e transforma em .y ($\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Nota : as "coordenadas" da projeção de são as mesmas que as "coordenadas" da projeção de desde .y ( y - y ) ⊥ $\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Supondo que você esteja familiarizado com a regressão linear simples: e sua solução : β

É fácil ver como corresponde ao numerador acima e mapeia o denominador. Como estamos lidando com matrizes, a ordem é importante. é a matriz KxK e é o vetor Kx1. Portanto, a ordem é:X ′ X X ′ X X ′ y ( X ′ X ) - 1 X ′$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$