Existe uma maneira de usar a matriz de covariância para encontrar coeficientes para regressão múltipla?

Para regressão linear simples, o coeficiente de regressão é calculável diretamente a partir da matriz de variância-covariância , por onde é o índice da variável dependente e é o índice da variável explicativa.C d , $C$ d

Se alguém possui apenas a matriz de covariância, é possível calcular os coeficientes para um modelo com múltiplas variáveis ​​explicativas?

ETA: Para duas variáveis ​​explicativas, parece que

Sim, a matriz de covariância de todas as variáveis ​​- explicativa e resposta - contém as informações necessárias para encontrar todos os coeficientes, desde que um termo de interceptação (constante) seja incluído no modelo. (Embora as covariâncias não forneçam informações sobre o termo constante, elas podem ser encontradas a partir dos meios dos dados.)

Análise

Deixe os dados para as variáveis explanatórias ser providenciado como vectores de coluna -dimensional x 1 , x 2 , ... , x p e a variável de resposta ser o vector coluna y , considerada uma realização de uma variável aleatória Y . Os ordinários estimativas de mínimos quadrados p dos coeficientes no modelo$n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

são obtidos montando os vetores de coluna X 0 = ( 1 , 1 , … , 1 ) ′ , X 1 , … , X p em uma matriz n × p + 1 X e resolvendo o sistema de equações lineares$p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

É equivalente ao sistema

A eliminação gaussiana resolverá esse sistema. Ele prossegue juntando a matriz $p+1\times p+1$e ap+1-vector$\frac{1}{n}X^\prime X$$p+1$em umamatrizp+1×p+2Ae reduzi-la em linha. $\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

O primeiro passo irá inspecionar . Considerando que isso é diferente de zero, ele subtrai múltiplos apropriados da primeira linha deAdas linhas restantes para zerar as entradas restantes em sua primeira coluna. Esses múltiplos serão$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$e o número subtraído a partir da entradaAi+1,j+1=X ' i Xjserá igual ¯ X i ¯ X j. Essa é apenas a fórmula para a covariância deXieXj. Além disso, o número deixado na posiçãoi+1,p+2é igual a$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$$\overline X_i \overline X_j$$X_i$$X_j$$i+1, p+2$ , a covariância deXicomy.$\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$$X_i$$y$

Assim, após o primeiro passo da eliminação gaussiana, o sistema é reduzido para resolver

e obviamente - como todos os coeficientes são covariâncias - essa solução pode ser encontrada a partir da matriz de covariância de todas as variáveis.

(Quando é invertível a solução pode ser escrito C - 1 ( Cov ( X i , y ) ) ' . As fórmulas indicadas na questão são casos especiais da presente quando p = 1 e p = 2 Escrita de tais fórmulas explicitamente vontade. tornam-se cada vez mais complexos à medida que p cresce. Além disso, são inferiores para computação numérica, o que é melhor realizado resolvendo o sistema de equações em vez de inverter a matriz C. )$C$$C^{-1}(\text{Cov}(X_i, y))^\prime$$p=1$$p=2$$p$$C$

O termo constante será a diferença entre a média de e os valores médios previstos a partir das estimativas, X p .$y$$X\hat{\beta}$

Exemplo

Para ilustrar, o Rcódigo a seguir cria alguns dados, calcula suas covariâncias e obtém as estimativas do coeficiente de mínimos quadrados somente a partir dessas informações. Ele os compara com as estimativas obtidas do estimador de mínimos quadrados lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

A saída mostra concordância entre os dois métodos:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675