Explicar como o `eigen` ajuda a inverter uma matriz

Minha pergunta se refere a uma técnica de computação explorada em geoR:::.negloglik.GRFou geoR:::solve.geoR.

Em uma configuração linear modelo misto: onde e são os efeitos fixos e aleatórios, respectivamente. Além disso,β b Σ = cov ( Y

$$Y=X\beta+Zb+e$$ $\beta$$b$$\Sigma=\text{cov}(Y)$

Ao estimar os efeitos, é necessário calcular que normalmente pode ser feito usando algo como , mas às vezes é quase invertível, portanto, use o truque( X ′ Σ - 1 X

$$(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y$$ solve(XtS_invX,XtS_invY)$(X'\Sigma^{-1}X)$geoR

t.ei=eigen(XtS_invX)
crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY

(pode ser visto em geoR:::.negloglik.GRFe geoR:::.solve.geoR) que equivale a decomposição onde e, portanto,

$$(X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\ $$ $\Lambda'=\Lambda^{-1}$ $$(X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1})$$

Duas questões:

1. Como essa decomposição de eigen ajuda a inverter ?$(X'\Sigma^{-1}X)$
2. Existem outras alternativas viáveis ​​(robustas e estáveis)? (por exemplo, qr.solveou chol2inv?)

1) A composição eigend realmente não ajuda muito. É certamente mais numericamente estável do que uma fatoração de Cholesky, o que é útil se sua matriz estiver mal condicionada / quase singular / tiver um número de condição alto. Assim, você pode usar a composição de eigend e ela fornecerá uma solução para o seu problema. Mas há pouca garantia de que será a solução CERTA . Honestamente, quando você inverte explicitamente , o dano já está feito. A formação de X T Σ - 1 X apenas torna as coisas piores. A composição do eigend ajudará você a vencer a batalha, mas a guerra certamente está perdida.$\Sigma$$X^T \Sigma^{-1} X$

2) Sem saber as especificidades do seu problema, é isso que eu faria. Em primeiro lugar, realizar uma fatoração de Cholesky sobre de modo que Σ = L L T . Em seguida, realizar um fatoração QR em G - 1 X de modo a que L - 1 X = Q R . Por favor, certifique-se de computar L - 1 X utilizando a substituição para a frente - NÃO explicitamente invertido L . Então você obtém: X T Σ - 1 X = X T ( $\Sigma$$\Sigma = L L^T$$L^{-1} X$$L^{-1} X = QR$$L^{-1} X$$L$ A partir daqui, você pode resolver qualquer lado direito que desejar. Mas, novamente, por favor, não explicitamente invertidoR(ouRTR). Use substituições para frente e para trás, conforme necessário.

$$\begin{array}{} X^T \Sigma^{-1} X & = & X^T (L L^T)^{-1} X \\ & = & X^T L^{-T} L^{-1} X \\ & = & (L^{-1} X)^T (L^{-1} X) \\ & = & (Q R)^T Q R \\ & = & R^T Q^T Q T \\ & = & R^T R \end{array}$$ $R$$R^T R$

BTW, estou curioso sobre o lado direito da sua equação. Você escreveu que é . Tem certeza de que não é X T Σ - 1 Y ? Porque, se fosse, você poderia usar um truque semelhante no lado direito: X T Σ - 1 Y = X T ( L L T ) - 1$X^T \Sigma Y$$X^T \Sigma^{-1} Y$ E então você pode entregar o golpe de misericórdia ao resolverβ: X T Σ - 1 X β = X T Σ - 1 Y R T R β = R T Q T L - 1 Y R β = Q T L - 1 Y β = R - 1 Q T

$$\begin{array}{} X^T \Sigma^{-1} Y & = & X^T (L L^T)^{-1} Y \\ & = & X^T L^{-T} L^{-1} Y \\ & = & (L^{-1} X)^T L^{-1} Y \\ & = & (Q R)^T L^{-1} Y \\ & = & R^T Q^T L^{-1} Y \end{array}$$ $\beta$ Claro, você nunca inverteria explicitamenteRpara a etapa final, certo? Isso é apenas uma substituição para trás. :-) $$\begin{array}{} X^T \Sigma^{-1} X \beta & = & X^T \Sigma^{-1} Y \\ R^T R \beta & = & R^T Q^T L^{-1} Y \\ R \beta & = & Q^T L^{-1} Y \\ \beta & = & R^{-1} Q^T L^{-1} Y \end{array}$$ $R$