Como executar a regressão ortogonal (total de mínimos quadrados) via PCA?

Eu sempre uso lm()em R para executar regressão linear de $y$ em . Essa função retorna um coeficiente tal que$x$$\beta$

$$y = \beta x.$$

Hoje eu aprendi sobre o total de mínimos quadrados e essa princomp()função (análise de componentes principais, PCA) pode ser usada para realizá-lo. Deve ser bom para mim (mais preciso). Eu fiz alguns testes usando princomp(), como:

r <- princomp( ~ x + y)

Meu problema é: como interpretar seus resultados? Como posso obter o coeficiente de regressão? Por "coeficiente", quero dizer o número que eu tenho que usar para multiplicar o valor para fornecer um número próximo de .x $\beta$$x$$y$

Mínimos quadrados comuns vs. mínimos quadrados totais

Vamos primeiro considerar o caso mais simples de apenas uma variável preditora (independente) . Para simplificar, deixe x e y centralizados, ou seja, a interceptação é sempre zero. A diferença entre a regressão OLS padrão e a regressão TLS "ortogonal" é mostrada claramente nesta figura (adaptada por mim) da resposta mais popular no segmento mais popular no PCA:$x$$x$$y$

OLS ajusta a equação $y=\beta x$ minimizando distâncias quadradas entre os valores observados $y$ e valores preditos y . TLS se encaixa na mesma equação, minimizando distâncias ao quadrado entre ( x , y$\hat y$ e sua projeção na linha. Neste caso mais simples, a linha TLS é simplesmente o primeiro componente principal dos dados 2D. Para encontrar β , do APC em ( x , y ) pontos, isto é, a construção de 2 × 2 covariância matriz Σ e encontrar o seu primeiro vector próprio v$(x,y)$$\beta$$(x,y)$$2\times 2$$\boldsymbol \Sigma$ ; então β = v y / v x .$\mathbf v = (v_x, v_y)$$\beta = v_y/v_x$

No Matlab:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

Em R:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

A propósito, esta vai produzir inclinação correcta, mesmo que $x$ e $y$ não foram centrado (porque funções internas PCA executar automaticamente centragem). Para recuperar a interceptação, calcule .$\beta_0 = \bar y - \beta \bar x$

OLS vs. TLS, regressão múltipla

Dada uma variável dependente e muitas variáveis ​​independentes x i (novamente, todas centradas na simplicidade), a regressão se ajusta a uma equação y = β 1 x 1 + … + β p x p . O OLS faz o ajuste minimizando os erros ao quadrado entre os valores observados de y e os valores previstos$y$$x_i$

$$y= \beta_1 x_1 + \ldots + \beta_p x_p.$$ $y$ . O TLS faz o ajuste minimizando as distâncias ao quadrado entre as observações(x,y)∈Rp+$\hat y$$(\mathbf x, y)\in\mathbb R^{p+1}$ pontos e os pontos mais próximos no plano de regressão / hiperplano.

Observe que não há mais "linha de regressão"! A equação acima especifica um hiperplano : é um plano 2D se houver dois preditores, hiperplano 3D se houver três preditores, etc. Portanto, a solução acima não funciona: não podemos obter a solução TLS usando apenas o primeiro PC (que é uma linha). Ainda, a solução pode ser facilmente obtida via PCA.

Como antes, o PCA é executado em pontos . Isto produz p + 1 vectores próprios em colunas de V . As primeiras p vectores próprios definir uma p -dimensional hiperplana H que é necessário; o último (número p + 1 ) autovetor$(\mathbf x, y)$$p+1$$\mathbf V$$p$$p$$\mathcal H$$p+1$ é ortogonal a ele. A questão é como transformar a base de H dado pelos primeirospvectores próprios para ospcoeficientes.$\mathbf v_{p+1}$$\mathcal H$$p$$\boldsymbol \beta$

Observe que, se definir para todos os i ≠ k e só x k = 1 , então y = p k , ou seja, o vector ( 0 , ... , 1 , ... , β k ) ∈ H reside no hiperplana H . Por outro lado, sabemos que $x_i=0$$i \ne k$$x_k=1$$\hat y=\beta_k$

$$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$$ $\mathcal H$ é ortogonal a ele. Ou seja, seu produto escalar deve ser zero: v k + β k v p + 1 = 0 ⇒ β k = - v k / v p + 1 $$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$$ $$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$$

No Matlab:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

Em R:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

Mais uma vez, isto irá proporcionar pistas correctas, mesmo que e y não foram centrado (porque funções internas PCA executar automaticamente centragem). Para recuperar a interceptação, calcule β 0 = ˉ y - ˉ x β .$x$$y$$\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

Como verificação de integridade, observe que esta solução coincide com a anterior no caso de apenas um único preditor . De fato, o espaço ( x , y ) é 2D e, portanto, dado que o primeiro vetor próprio PCA é ortogonal ao segundo (último), v ( 1 ) y / v ( 1 ) x = - v ( 2 ) x / v ( 2 ) y .$x$$(x,y)$$v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

Solução de formulário fechado para TLS

Surpreendentemente, verifica-se que existe uma equação de forma fechada para . O argumento abaixo é retirado do livro de Sabine van Huffel "O total de mínimos quadrados" (seção 2.3.2).$\boldsymbol \beta$

Seja e y as matrizes de dados centralizadas. O último vetor próprio PCA$\mathbf X$$\mathbf y$ é um vetor próprio da matriz de covariância de[$\mathbf v_{p+1}$ com um valor próprio σ 2 p + 1 . Se é um vetor próprio, então o é - v p $[\mathbf X\: \mathbf y]$$\sigma^2_{p+1}$ . Escrever a equação eigenvector: ( X ⊤ X X ⊤ y y ⊤ X y ⊤ y ) ( β - 1 ) = σ 2 p + 1 ( β - 1 ) , e calcular o produto à esquerda, nós imediatamente obter esse β T L S = ( X ⊤ X - $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

$$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$$ que lembra fortemente a expressão familiar de OLS β O L S =( X ⊤ X ) - 1 X ⊤ y $$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ $$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$$

Regressão múltipla multivariada

A mesma fórmula pode ser generalizada para o caso multivariado, mas mesmo para definir o que o TLS multivariado faz, exigiria alguma álgebra. Veja a Wikipedia sobre TLS . A regressão OLS multivariada é equivalente a várias regressões OLS univariadas para cada variável dependente, mas, no caso do TLS, não é assim.

Com base na ingênua implementação GNU Octave encontrada aqui , algo como isto pode (grão de sal, é tarde) funcionar.

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

princompestá executando a análise de componentes principais em vez da regressão total de mínimos quadrados. Até onde eu sei, não há função R nem pacote que faça TLS; no máximo, há regressão de Deming no MethComp .
No entanto, trate isso como uma sugestão de que provavelmente não vale a pena.