Por que o traço de

No modelo ${y} = X \beta + \epsilon$ , podemos estimar $\beta$ usando a equação normal:

$$\hat{\beta} = (X'X)^{-1}X'y,$$ e poderíamos obter y =X β . $$\hat{y} = X \hat{\beta}.$$

O vetor de resíduos é estimado por

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

onde

$$Q = I - X (X'X)^{-1} X'.$$

Minha pergunta é como obter a conclusão de

$$\textrm{tr}(Q) = n - p.$$

A conclusão apenas conta dimensões de espaços vetoriais. No entanto, isso geralmente não é verdade.

As propriedades mais básicas da multiplicação da matriz mostram que a transformação linear representada pela matriz satisfaz$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

exibindo-o como um operador de projeção . Portanto, seu complemento

$$\mathbb{Q} = 1 - \mathbb{H}$$

(como indicado na pergunta) também é um operador de projeção. O traço de é sua classificação h (veja abaixo), de onde o traço de Q é igual a$\mathbb{H}$$h$$\mathbb{Q}$ .$n-h$

A partir de sua própria fórmula, é aparente que é a matriz associada à composição de duas transformações lineares J = ( X ′ X ) - X ′ e o próprio X. O primeiro ( J ) transforma o n -vector y para o p -vector β . O segundo ( X ) é uma transformação de R p a R n dada por Y = X $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$. Sua classificação não pode exceder a menor dessas duas dimensões, que em um cenário de mínimos quadrados é sempre (mas pode ser menor que p , sempre que J não estiver na classificação completa). Por conseguinte, o grau da composição H = X J não pode exceder o posto de X . A conclusão correta , então, é$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

se e somente se J for de classificação completa; e em geral n ≥ tr ( Q ) ≥ n - p . No primeiro caso, o modelo é considerado "identificável" (para os coeficientes de β ).$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

terá a classificação completa se e somente se X ′ X for invertível.$\mathbb{J}$$X^\prime X$

---

Interpretação geométrica

representa a projeção ortogonal de n- vetores y (representando a "resposta" ou "variável dependente") no espaço medido pelas colunas de X (representando as "variáveis ​​independentes" ou "covariáveis"). A diferença Q = 1 - H mostra como decompor qualquer$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$ -vector em uma soma de vectores y = H ( y ) + Q ( y ) , em que o primeiro pode ser "previsto" de X e a segunda é perpendicular a ele . Quando $y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$colunas de geram um espaço tridimensional p (isto é, não são colineares), a classificação de H é p e a classificação de Q é n - p , refletindo as dimensões adicionais de variação n - p na resposta que não são representadas dentro das variáveis ​​independentes. O traço fornece uma fórmula algébrica para essas dimensões.$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

Fundo de álgebra linear

Um operador de projecção num espaço vectorial (tal como R N ) é uma transformação linear P : V → V (isto é, um endomorfismo de V ) tal que P 2 = P . Isso faz seu complemento Q = 1 - $V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$ um operador de projeção também, porque

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Todas as projecções fixar cada elemento das suas imagens, pois sempre que pode escrever v = P ( w ) para alguns w ∈ V , onde w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Associados a qualquer endomorfismo de V estão dois subespaços: seu kernel ker ( P ) = { v ∈ $\mathbb{P}$$V$ e suaimagem Im ( P ) = {

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ Cada vetor v ∈ V pode ser escrito na forma v = w + u onde w ∈ Im ( P ) e u ∈ Ker ( P ) . Portanto, podemos construir uma base E ∪ F para V para a qual E ⊂ Ker ( P ) e F ⊂ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$$F \subset \text{Im}(\mathbb{P})$ . Quando é finito-dimensional, a matriz de P nesta base estará, portanto, na forma de diagonal de bloco, com um bloco (correspondente à ação de $V$$\mathbb{P}$$\mathbb{P}$ em ) todos os zeros e o outro (correspondente à ação de P em F ) igual a F por F matriz de identidade, em que a dimensão de F é f . O traço de P é a soma dos valores na diagonal e, portanto, deve ser igual a f × 1 = f . Este número é a classificação de$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$ : a dimensão da sua imagem.$\mathbb{P}$

O rastreio de é igual ao traço de 1 (igual a n , a dimensão de V ) menos o vestígio de P .$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Esses resultados podem ser resumidos com a afirmação de que o traço de uma projeção é igual à sua classificação.

A @Dougal já deu uma resposta, mas aqui está outra, um pouco mais simples.

Primeiro, vamos usar o fato de que . Então, obtemos: t r ( Q ) = t r ( I ) - t r ( X ( X ′ X ) - 1 X ′ ) . Agora ( I ) = n . Agora vamos usar o fato de que $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ é um n × n matriz de identidade, de modo$I$$n \times n$ r ( A B ) = t r ( B A ) , ou seja, o traço é invariável sob permutações cíclicas. Então, temos: t r ( Q ) = n - t r ( ( X ′ X ) - 1 ( X ′ X ) ) . Quando multiplicamos ( X ′ X $\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$Assuma isso $n \le p$ e essa $X$ é de classificação completa.

Considere a decomposição compacta do valor singular $X = U \Sigma V^T$, Onde $\Sigma \in \R^{p \times p}$ is diagonal and $U \in \R^{n \times p}, V \in \R^{p \times p}$ have $U^T U = V^T V = V V^T = I_p$ (but note $U U^T$ is rank at most $p$ so it cannot be $I_n$). Then

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Now, there exists a matrix $U_2 \in \R^{n \times n-p}$ such that $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$ is unitary. We can write

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.