Existe uma maneira elegante / perspicaz de entender essa identidade de regressão linear para múltiplos ?

Na regressão linear, encontrei um resultado agradável que, se encaixarmos no modelo

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

então, se padronizarmos e centralizarmos os dados , e , $Y$ $X_1$ $X_2$

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Isso me parece uma versão de 2 variáveis de para regressão, o que é agradável. $R^2 = \mathrm{Cor}(Y,X)^2$ $y=mx+c$

Mas a única prova que conheço não é de forma alguma construtiva ou perspicaz (veja abaixo), e, no entanto, para olhar para ela, parece que deve ser facilmente compreensível.

Exemplos de pensamentos:

Os e nos fornecem a 'proporção' de e em ; portanto, estamos tomando proporções respectivas de suas correlações ... $\beta_1$ $\beta_2$ $X_1$ $X_2$ $Y$
Os s são correlações parciais, é a correlação múltipla ao quadrado ... correlações multiplicadas por correlações parciais ... $\beta$ $R^2$
Se ortogonalizarmos primeiro, os s serão ... esse resultado faz algum sentido geométrico? $\beta$ $\mathrm{Cov}/\mathrm{Var}$

Nenhum desses tópicos parece levar a lugar algum para mim. Alguém pode fornecer uma explicação clara de como entender esse resultado.

Prova Insatisfatória

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— Korone
fonte

Você deve estar usando variáveis padronizadas; caso contrário, sua fórmula para não será garantida entre e . Embora essa suposição apareça na sua prova, ajudaria a torná-la explícita desde o início. Também estou intrigado com o que você está realmente fazendo: o seu claramente é uma função do modelo sozinho - não tendo nada a ver com os dados - mas você começa mencionando que "ajustou" o modelo a algo .

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Seu resultado principal não é válido apenas se X1 e X2 não estiverem perfeitamente correlacionados?

— gung - Restabelece Monica

@ Gung Eu não penso assim - a prova no fundo parece dizer que funciona independentemente. Esse resultado me surpreende muito, portanto, querendo uma "prova clara compreensão"

— Korone

@whuber Não sei ao certo o que você quer dizer com "função do modelo sozinho"? Simplesmente quero dizer o para OLS simples com duas variáveis mais precisas. Ou seja, este é a versão 2 variável de

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

Não sei dizer se seus são os parâmetros ou as estimativas.

β_{i}

$\beta_i$

— whuber

Respostas:

A matriz do chapéu é idempotente.

(Esta é uma maneira algébrica-linear de afirmar que OLS é uma projeção ortogonal do vetor de resposta no espaço estendido pelas variáveis.)

Lembre-se de que, por definição

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

Onde

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

é a soma dos quadrados dos valores previstos (centralizados) e

T S S = Y^{'} Y

$TSS = Y^\prime Y$

é a soma dos quadrados dos valores de resposta (centralizados). A padronização prévia de para a variação unitária também implica $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Lembre-se, também, que os coeficientes estimados são dados por

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

de onde

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

onde é a "matriz chapéu" efectuar a projecção de para os seus mínimos quadrados caber . É simétrico (o que é óbvio por sua própria forma) e idempotente . Aqui está uma prova deste último para aqueles que não estão familiarizados com esse resultado. É apenas embaralhar parênteses em torno de: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

Portanto

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

O movimento crucial no meio usou a idempotência da matriz do chapéu. O lado direito é a sua fórmula mágica porque é o (linha) de vector de coeficientes de correlação entre e as colunas de . $\frac{1}{n}Y^\prime X$ $Y$ $X$

— whuber
fonte

(+1) Muito bom artigo. Mas por que em ^{-}vez de ^{-1}todos os lugares?

— Ameba

@amoeba É um inverso generalizado , colocado lá para lidar com os casos em que pode ser singular.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose, em seu artigo original ( A Generalized Inverse for Matrices , 1954) usou a notação . Não gosto disso nem da notação porque eles são facilmente confundidos com conjugados, transpostos ou transpostos conjugados, enquanto a notação é tão sugestiva de um inverso que o leitor casual pode se dar bem ao pensar em como se quiserem. Você é um leitor muito bom - mas obrigado por perceber.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Motivação interessante e convincente, mas posso perguntar se essa notação é algo que é ocasionalmente usado em outro lugar ou é sua própria invenção?

— Ameba

@amoeba: Sim, essa notação aparece em outro lugar, inclusive nos textos clássicos de Graybill no modelo linear.

— cardeal

As três fórmulas a seguir são bem conhecidas, elas são encontradas em muitos livros sobre regressão linear. Não é difícil derivá-los.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Se você substituir os dois betas em sua equação , obterá a fórmula acima para o quadrado R. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Aqui está um "insight" geométrico. Abaixo estão duas imagens mostrando a regressão de por e . Esse tipo de representação é conhecido como variáveis como vetores no espaço do assunto ( leia sobre o que se trata). As figuras são desenhadas depois que todas as três variáveis foram centralizadas, e assim (1) o comprimento de cada vetor = st. desvio da respectiva variável e (2) ângulo (seu cosseno) entre cada dois vetores = correlação entre as respectivas variáveis. $Y$ $X_1$ $X_2$

insira a descrição da imagem aqui

$\hat{Y}$ é a previsão de regressão (projeção ortogonal de no "plano X"); é o termo do erro; , coeficiente de correlação múltipla. $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

A figura da esquerda mostra as coordenadas inclinadas de nas variáveis e . Sabemos que essas coordenadas relacionam os coeficientes de regressão. Nomeadamente, as coordenadas são: e . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

E a imagem à direita mostra as coordenadas perpendiculares correspondentes . Sabemos que essas coordenadas relacionam os coeficientes de correlação de ordem zero (estes são cossenos de projeções ortogonais). Se for a correlação entre e e for a correlação entre e , a coordenada será . Da mesma forma para a outra coordenada, . $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Até agora, havia explicações gerais da representação vetorial de regressão linear. Agora, voltamos à tarefa para mostrar como ela pode levar a . $R^2 = r_1 \beta_1 + r_2 \beta_2$

Antes de tudo, lembre-se de que, na pergunta deles, @Corone apresentou a condição de que a expressão é verdadeira quando todas as três variáveis são padronizadas , ou seja, não apenas centralizadas, mas também dimensionadas para a variação 1. Então (isto é, implica são as "partes de trabalho" dos vetores), temos coordenadas iguais a: ; ; ; ; bem como. Redesenhe, nessas condições, apenas o "plano X" das figuras acima: $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

insira a descrição da imagem aqui

No quadro, que tem um par de coordenadas perpendiculares e um par de coordenadas de inclinação, do mesmo vector de comprimento . Existe uma regra geral para obter coordenadas perpendiculares a partir das inclinadas (ou anteriores): , onde é matriz de coordenadas perpendiculares; é a mesma matriz de tamanho dos enviesados; e são a matriz simétrica de ângulos (cossenos) entre os eixos não-ortogonais. $\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ e são os eixos no nosso caso, com sendo o cosseno entre eles. Portanto, e . $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

Substitua esses s expressos por s na declaração de @ Corone e você obterá que , - o que é verdade , porque é exatamente como uma diagonal de um paralelogramo (pintada na figura) é expressa através de seus lados adjacentes (quantidade sendo o produto escalar). $r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

O mesmo se aplica a qualquer número de preditores X. Infelizmente, é impossível desenhar imagens semelhantes com muitos preditores.

— ttnphns
fonte

+1 bom vê-lo construído desta forma também, mas isso não adicionar como uma visão muito em comparação com a resposta de whuber

— Korone

@ Corone, eu adicionei alguns "insights" que você pode ter.

— ttnphns

+1 Muito legal (após a atualização). Eu pensei que invocar a "regra geral" de conversão entre coordenadas é um exagero (e para mim era apenas confuso); para ver que, por exemplo, é necessário apenas lembrar a definição de cosseno e observar um dos triângulos retângulos.

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

— Ameba

Edição muito legal, comutada aceita.

— Korone