Mínimos quadrados generalizados: dos coeficientes de regressão aos coeficientes de correlação?

Para mínimos quadrados com um preditor:

$y = \beta x + \epsilon$

Se e y forem padronizados antes do ajuste (ou seja, ∼ N ( 0 , 1 ) ), então:$x$$y$$\sim N(0,1)$

• é o mesmo que o coeficiente de correlação de Pearson, r .$\beta$$r$
• é o mesmo na regressão refletida: x = β y + $\beta$$x = \beta y + \epsilon$

Para mínimos quadrados generalizados (GLS), o mesmo se aplica? Ou seja, se eu padronizar meus dados, posso obter coeficientes de correlação diretamente dos coeficientes de regressão?

Ao experimentar dados, o GLS refletido leva a diferentes coeficientes e também não tenho certeza de que acredito que os coeficientes de regressão se ajustem aos meus valores esperados para correlação. Eu sei que as pessoas citam os coeficientes de correlação GLS, então eu estou me perguntando como eles chegam a eles e, portanto, o que eles realmente significam?$\beta$

A resposta é sim, os coeficientes de regressão linear são as correlações dos preditores com a resposta, mas apenas se você usar o sistema de coordenadas correto .

Para entender o que quero dizer, lembre-se de que se e y estiverem centralizados e padronizados, a correlação entre cada x i e y será apenas o produto escalar x t i y . Além disso, a solução de mínimos quadrados para regressão linear é$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

Se acontecer que (a matriz de identidade), então$X^{t} X = I$

$$\beta = X^t y$$

e recuperamos o vetor de correlação. Muitas vezes, é atraente para reformular um problema de regressão em termos de preditores que satisfazem ~ X t ~ X = I por encontrar combinações lineares apropriadas dos preditores originais que fazem essa relação verdadeira (ou equivalentemente, uma mudança linear de coordenadas); esses novos preditores são chamados de componentes principais.$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

Portanto, no geral, a resposta para sua pergunta é sim, mas apenas quando os preditores não estão correlacionados . Caso contrário, a expressão

$$X^t X \beta = X^t y$$

mostra que os betas devem ser misturados com as correlações entre os preditores para recuperar as correlações preditor-resposta.

$x$

$$x_0^t x = \sum_i x_{i} = 0$$

$x_0$$X$$X^t X = I$