Qual é a importância da matriz de chapéu,

Qual é a importância da matriz de chapéu, , na análise de regressão?$H=X(X^{\prime}X )^{-1}X^{\prime}$

É apenas para um cálculo mais fácil?

No estudo da regressão linear, o ponto de partida básico é o processo de geração de dados $\textbf{y= XB + u} \quad$ onde e determinístico. Depois de minimizar o critério dos mínimos quadrados, encontra-se um estimador para , ou seja, . Depois de conectar o estimador na fórmula inicial, obtém-se como um modelo linear do processo de geração de dados. Agora, pode-se substituir o estimador por e obterX B B B = ( X ' x ) - 1 X ' y y = X B B y = X ( X ' X ) - 1 X ' y$\textbf{u} \sim N(0,\sigma^2 \boldsymbol I)$$\textbf{X}$$\widehat {\textbf{B} }$$\textbf{B}$$\widehat {\textbf{B}}= ( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}$$\widehat {\textbf{y}}=\textbf{X}\widehat {\textbf{B}}$$\widehat {\textbf{B}}$$\widehat {\textbf{y}}=\textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '\textbf{y}.$

Portanto, é na verdade uma matriz de projeção. Imagine que você pegue todas as variáveis ​​em . As variáveis ​​são vetores e ocupam um espaço. Portanto, se você multiplicar por , projeta seus valores observados em no espaço que é estendido pelas variáveis ​​em . Ele fornece as estimativas para e essa é a razão pela qual é chamada de matriz de chapéu e por que tem tanta importância. Afinal, a regressão linear nada mais é do que uma projeção e com a matriz de projeção não podemos apenas calcular as estimativas paraX H y y X y y $\textbf{H} = \textbf{X}( \textbf{X} ' \textbf{X})^{-1}\textbf{X} '$$\textbf{X}$$\textbf{H}$$\textbf{y}$$\textbf{y}$$\textbf{X}$$\textbf{y}$$\textbf{y}$mas também para e pode, por exemplo, verificar se é realmente distribuído normalmente.$\textbf{u}$

Encontrei essa bela foto na internet e visualiza essa projeção. Observe que é usado em vez de . Além disso, a figura enfatiza que o vetor dos termos de erro é ortogonal à projeção e, portanto, não está correlacionado com as estimativas paraB $\beta$$\textbf{B}$$\textbf{y}$

A matriz hat é muito útil por alguns motivos:

1. Em vez de ter y = Z β , temos que y = P y onde P é a matriz de chapéu. Isto dá-nos que y é um mapeamento linear dos valores observados.$\widehat{y}=Z\widehat{\beta}$$\widehat{y}=Py$$P$$\widehat{y}$
2. A partir da matriz chapéu , é fácil calcular os resíduos £ . Vemos que ε = y - y = y - P y = ( I n - P ) y .$P$$\widehat{\epsilon}$$\widehat{\epsilon}=y-\widehat{y}=y-Py=\left(I_n-P\right)y$

Nada mais é do que encontrar a solução "mais próxima" para Ax = b, onde b não está no espaço da coluna de A. Nós projetamos b no espaço da coluna e resolvemos Ax (hat) = p, em que p é a projeção de b em espaço da coluna.