Regressão múltipla ou coeficiente de correlação parcial? E as relações entre os dois

Eu nem sei se essa pergunta faz sentido, mas qual é a diferença entre regressão múltipla e correlação parcial (além das diferenças óbvias entre correlação e regressão, que não é o que eu pretendo)?

Quero descobrir o seguinte:
Eu tenho duas variáveis ​​independentes ( $x_1$ , $x_2$ ) e uma variável dependente ( $y$ ). Agora, individualmente, as variáveis ​​independentes não estão correlacionadas com a variável dependente. Mas, para um dado diminui quando diminui. Então, analiso isso por meio de regressão múltipla ou correlação parcial ?$x_1$ $y$$x_2$

edite para melhorar minha pergunta: estou tentando entender a diferença entre regressão múltipla e correlação parcial. Então, quando diminui para um determinado quando diminui, isso é devido ao efeito combinado de e em (regressão múltipla) ou é devido à remoção do efeito de (correlação parcial)?x 1 x 2 x 1 x 2 y x $y$$x_1$$x_2$$x_1$$x_2$$y$$x_1$

Coeficiente de regressão linear múltipla e correlação parcial estão diretamente ligados e têm a mesma significância (valor-p). R parcial é apenas outra maneira de padronizar o coeficiente, juntamente com o coeficiente beta (coeficiente de regressão padronizado) 1 . Portanto, se a variável dependente é y e os independentes são x 1 e x 2, então$^1$$y$$x_1$$x_2$

$$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$$

$$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$$

Você vê que os numeradores são os mesmos, informando que ambas as fórmulas medem o mesmo efeito exclusivo de . Vou tentar explicar como as duas fórmulas são estruturalmente idênticas e como não são.$x_1$

Suponha que você padronizou z (média 0, variação 1) todas as três variáveis. O numerador é então igual à covariância entre dois tipos de resíduos : os (a) resíduos deixados na previsão de por x 2 [ambas as variáveis ​​padrão] e os (b) resíduos deixados na previsão de x 1 por x 2 [ambas as variáveis ​​padrão] . Além disso, a variação dos resíduos (a) é 1 - r 2 y x 2 ; a variação dos resíduos (b) é 1 - r 2 x 1 x 2 .$y$$x_2$$x_1$$x_2$$1-r_{yx_2}^2$$1-r_{x_1x_2}^2$

A fórmula para a correlação parcial aparece então claramente a fórmula do plano simples de Pearson , conforme calculado neste caso entre os resíduos (a) e os resíduos (b): Pearson r , sabemos, é covariância dividida pelo denominador que é a média geométrica de duas variações diferentes.$r$$r$

O coeficiente beta padronizado é estruturalmente semelhante a Pearson , apenas que o denominador é a média geométrica de uma variação do próprio eu . A variância dos resíduos (a) não foi contada; foi substituído pela segunda contagem da variância de resíduos (b). Beta é, portanto, a covariância dos dois resíduos em relação à variância de um deles (especificamente, o referente ao preditor de interesse, x 1 ). Embora a correlação parcial, como já observado, seja a mesma covariância em relação à sua variação híbrida . Ambos os tipos de coeficiente são maneiras de padronizar o efeito de x 1 no meio de outros preditores.$r$$x_1$$x_1$

Algumas consequências numéricas da diferença. Se o quadrado R da regressão múltipla de por x 1 e x 2 for 1, as duas correlações parciais dos preditores com o dependente também terão 1 valor absoluto (mas os betas geralmente não serão 1). De fato, como dito anteriormente, r y x 1 . x 2 é a correlação entre os resíduos de e os resíduos de . Se o que não é x 2 dentro de y é exatamente o que não é x 2 dentro de x $y$$x_1$$x_2$$r_{yx_1.x_2}$y <- x2x1 <- x2$x_2$$y$ $x_2$$x_1$então não há nada em que não seja x 1 nem x 2 : ajuste completo. Qualquer que seja a quantidade da porção inexplicável (em x 2 ) deixada em y (o 1 - r 2 y x 2 ), se for capturada relativamente alta pela parte independente de x 1 (pelo 1 - r 2 x 1 x 2 ), o r y x 1 . x 2 será alto. β x $y$$x_1$$x_2$$x_2$$y$$1-r_{yx_2}^2$$x_1$$1-r_{x_1x_2}^2$$r_{yx_1.x_2}$$\beta_{x_1}$, por outro lado, será alto apenas desde que a porção inexplicada capturada de seja ela própria uma porção substancial de y .$y$$y$

---

Das fórmulas acima, obtém-se (e que se estende a partir de regressão 2-preditor para uma regressão com o número arbitrário de preditores ) A fórmula de conversão entre beta e R correspondente parcial:$x_1,x_2,x_3,...$

$$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$$

where $X$ stands for the collection of all predictors except the current ($x_1$); $e_{y \leftarrow X}$ are the residuals from regressing $y$ by $X$, and $e_{x_1 \leftarrow X}$ are the residuals from regressing $x_1$ by $X$, the variables in both these regressions enter them standardized.

Note: if we need to to compute partial correlations of $y$ with every predictor $x$ we usually won't use this formula requiring to do two additional regressions. Rather, the sweep operations (often used in stepwise and all subsets regression algorithms) will be done or anti-image correlation matrix will be computed.

---

$^1$ $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ is the relation between the raw $b$ and the standardized $\beta$ coefficients in regression with intercept.

Just bumped to this tread by chance. In the original answer, in the formula for $\beta_{x_1}$ the factor $\sqrt{SSY/SSX_1}$ is missing, that is

$$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$$ where $SSY=\sum_i (y_i-\bar y)^2$ and $SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$.