Efeito da resposta de comutação e variável explicativa na regressão linear simples

48

Vamos dizer que existe alguma relação "verdadeira" entre e tal que , onde e são constantes e é o ruído normal de IID. Quando eu gero dados aleatoriamente a partir desse código R: e depois encaixo em um modelo , obviamente obtenho estimativas razoavelmente boas para e . $y$ $x$ $y = ax + b + \epsilon$ $a$ $b$ $\epsilon$ x <- 1:100; y <- ax + b + rnorm(length(x))y ~ x $a$ $b$

Se eu mudar o papel das variáveis como em (x ~ y), no entanto, e depois reescrever o resultado para ser uma função de , a inclinação resultante será sempre mais íngreme (mais negativa ou mais positiva) do que a estimada pela regressão. Estou tentando entender exatamente por que isso é e agradeceria se alguém pudesse me dar uma intuição sobre o que está acontecendo lá. $y$ $x$ y ~ x

regression

— Greg Aponte
fonte

11

Isso não é verdade em geral. Talvez você esteja vendo isso nos seus dados. Cole este código: y = rnorm (10); x = rnorm (10); lm (y ~ x); lm (x ~ y); em R várias vezes e você encontrará os dois lados.

— macro

Isso é um pouco diferente do que eu estava descrevendo. No seu exemplo, y não era uma função de x, então não há realmente nenhuma "inclinação" (a 'a' no meu exemplo).

— Greg Aponte

lm (y ~ x) se ajusta ao modelo por mínimos quadrados (equivalente à estimativa de ML quando os erros são normais). Há uma encosta.

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$

— macro

2

Sua pergunta é feita e respondida (mais ou menos) em stats.stackexchange.com/questions/13126 e stats.stackexchange.com/questions/18434 . No entanto, acredito que ninguém ainda contribuiu com uma explicação simples e clara das relações entre (a) regressão de x , (b) regressão de x , (c) análise da correlação de e , (d) regressão de erros nas variáveis de e e (e) ajustando uma distribuição normal bivariada a . Este seria um bom lugar para tal exposição :-).

Y

$Y$

X

$X$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

(X, Y)

$(X,Y)$

— whuber

2

É claro que a macro está correta: porque x e y desempenham papéis equivalentes na pergunta, qual inclinação é mais extrema é uma questão de sorte. No entanto, a geometria sugere (incorretamente) que, quando invertemos x e y na regressão, devemos obter o receptor da inclinação original. Isso nunca acontece, exceto quando x e y são linearmente dependentes. Esta questão pode ser interpretada como perguntando o porquê.

— whuber

23

Dados pontos de dados , no plano, vamos desenhar uma linha reta . Se predizermos como o valor de , o erro será , o erro ao quadrado será , e o erro quadrático total . Nós perguntamos $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

O escolha de e minimiza ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Como é a distância vertical de da linha reta, solicitamos a linha de tal forma que a soma dos quadrados das distâncias verticais dos pontos da linha seja tão pequena quanto possível. Agora é uma função quadrática de tanto e e atinge o seu valor mínimo, quando e são tais que Na segunda equação, obtemos where $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$ são a média aritmética valores de 'e ' respectivamente. Substituindo a primeira equação, obtemos Assim, a linha que minimiza pode ser expressa como e o valor mínimo de é

y_{i}

$y_i$

x_{i}

$x_i$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

Se trocar os papéis de e , desenhar uma linha , e pedir os valores de e que minimizam isto é, queremos a linha de modo que a soma dos quadrados das distâncias horizontais dos pontos a partir da linha é tão pequena quanto possível, então temos $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ e o valor mínimo de é

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

Observe que ambas as linhas passam pelo ponto mas as inclinações são são diferentes em geral. De fato, como @whuber aponta em um comentário, as inclinações são as mesmas quando todos os pontos estão na mesma linha reta. Para ver isso, observe que $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Dilip Sarwate
fonte

Obrigado! abs (correlação) <1 explica por que a inclinação foi sistematicamente mais acentuada no caso reverso.

— Greg Aponte

(+1), mas eu adicionei uma resposta com apenas uma ilustração do que você acabou de dizer, como eu tenho uma mente geométrica :)

— Elvis

Resposta da classe (+1)

— Digio 19/10/2015

39

Apenas para ilustrar a resposta de Dilip: nas figuras a seguir,

os pontos pretos são pontos de dados;
à esquerda, a linha preta é a linha de regressão obtida por y ~ x, que minimiza os quadrados do comprimento dos segmentos vermelhos;
à direita, a linha preta é a linha de regressão obtida por x ~ y, que minimiza os quadrados do comprimento dos segmentos vermelhos.

linhas de regressão

Editar (regressão de menos retângulos)

Se não existe um meio natural de escolher uma "resposta" e uma "covariável", mas as duas variáveis são interdependentes, você pode querer conservar um papel simétrico para e ; neste caso, você pode usar "regressão de menos retângulos". $y$ $x$

escreva , como de costume; $Y = aX + b + \epsilon$
denotam e as estimativas de condicional para e de condicional para ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
minimizar, o que leva a $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

Aqui está uma ilustração com os mesmos pontos de dados; para cada ponto, um "retângulo" é calculado como o produto do comprimento de dois segmentos vermelhos e a soma dos retângulos é minimizada. Não sei muito sobre as propriedades dessa regressão e não encontro muito com o google.

menos retângulos

— Elvis
fonte

14

Algumas anotações: ( 1 ) A menos que eu esteja enganado, parece que a "regressão de menos retângulos" é equivalente à solução obtida pela obtenção do primeiro componente principal da matriz após a centralização e reescalonar para ter variação de unidade e, em seguida, substituir novamente. (continuação)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— cardeal

14

(cont.) ( 2 ) Visto desta maneira, é fácil ver que essa "regressão de menos retângulos" é equivalente a uma forma de mínimos quadrados ortogonais (ou totais) e, portanto, ( 3 ) Um caso especial de regressão de Deming em os vetores centralizados e redimensionados, tendo . Os mínimos quadrados ortogonais podem ser considerados como "regressão de círculos mínimos".

δ = 1

$\delta = 1$

— cardeal

2

@ cardinal Comentários muito interessantes! (+1) Eu acredito que o eixo principal (minimizando distâncias perpendiculares entre a linha de registro e todos os pontos, à la PCA) ou a regressão reduzida do eixo principal , ou a regressão tipo II, como exemplificado no pacote lmodel2 R de P Legendre, também são relevantes aqui como essas técnicas são usadas quando é difícil dizer qual papel (resposta ou preditor) desempenha cada variável ou quando queremos contabilizar erros de medição.

— chl

11

@chl: (+1) Sim, acredito que você esteja certo e a página da Wikipedia no total de mínimos quadrados lista vários outros nomes para o mesmo procedimento, nem todos com os quais estou familiarizado. Parece voltar a pelo menos R. Frisch, análise estatística de confluência por meio de sistemas completos de regressão , Universitetets Økonomiske Instituut, 1934, onde foi chamado de regressão diagonal .

— cardeal

3

@ cardinal Eu deveria ter tido mais cuidado ao ler a entrada da Wikipedia ... Para referência futura, aqui está uma foto tirada de Bioestatística Design and Analysis Using R , de M. Logan (Wiley, 2010; Fig. 8.4, p. 174) , que resume as diferentes abordagens, bem como as boas ilustrações de Elvis.

— chl

13

Apenas uma breve nota sobre por que você vê a inclinação menor para uma regressão. Ambas as inclinações dependem de três números: desvios padrão de e ( e ) e correlação entre e ( ). A regressão com como resposta tem inclinação e a regressão com como resposta tem inclinação , daí a a razão da primeira inclinação para a recíproca da segunda é igual a . $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

Portanto, quanto maior a proporção de variação explicada, mais próximas as inclinações obtidas de cada caso. Observe que a proporção de variância explicada é simétrica e igual à correlação ao quadrado na regressão linear simples.

— probabilityislogic
fonte

1

Uma maneira simples de analisar isso é observar que, se o modelo verdadeiro , você executa duas regressões: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

Então temos, usando : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

Portanto, se você obtém uma inclinação mais íngreme ou não, depende apenas da razão . Essa proporção é igual a, com base no modelo verdadeiro assumido: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

Link com outras respostas

Você pode conectar esse resultado com as respostas de outras pessoas, que disseram que quando , deveria ser recíproco. De fato, e também (sem erro de estimativa); $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

Então $b_{x\sim y}=1/\beta$

— Matifou
fonte

0

Torna-se interessante quando também há ruído em suas entradas (o que poderíamos argumentar é sempre o caso, nenhum comando ou observação é sempre perfeito).

Eu construí algumas simulações para observar o fenômeno, com base em uma relação linear simples , com ruído gaussiano em x e y. Gerei as observações da seguinte forma (código python): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Veja os resultados diferentes (odr aqui é regressão de distância ortogonal , ou seja, igual à regressão de menos retângulos):

Todo o código está lá:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— leve
fonte

0

A linha de regressão não é (sempre) igual à verdadeira relação

Você pode ter algum relacionamento causal 'verdadeiro' como

y = a + b x + ϵ

$y = a + bx + \epsilon$

mas ajustou linhas de regressão y ~ xou x ~ ynão significa o mesmo que a relação causal (mesmo quando, na prática, a expressão para uma das linhas de regressão pode coincidir com a expressão para a relação causal "verdadeira")

Relação mais precisa entre pistas

Para duas regressões lineares simples comutadas:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

você pode relacionar as inclinações da seguinte maneira:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

Portanto, as encostas não são inversas.

Intuição

A razão é que

Linhas de regressão e correlações não necessariamente correspondem um a um a um relacionamento causal.
As linhas de regressão se relacionam mais diretamente a uma probabilidade condicional ou melhor previsão.

Você pode imaginar que a probabilidade condicional está relacionada à força do relacionamento. As linhas de regressão refletem isso e as inclinações das linhas podem ser rasas quando a força do relacionamento é pequena ou ambas íngremes quando a força do relacionamento é forte. As encostas não são simplesmente inversas.

Exemplo

Se duas variáveis e relacionam entre si por alguns (causal) relação linear Então você pode imaginar que seria não ser bom para todo inverter essa relação no caso de você deseja expressar baseado em um dado valor de . $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

Ao invés de

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

seria melhor usar também

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

Veja o exemplo de distribuições a seguir com suas respectivas linhas de regressão. As distribuições são multivariadas normais com e $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

Os valores condicionais esperados (o que você obteria em uma regressão linear) são

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

e neste caso com uma distribuição normal multivariada, as distribuições marginais são $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

Portanto, você pode ver a variável Y como uma parte e um ruído de parte com variação . O mesmo vale para o contrário. $\rho X$ $1-\rho^2$

Quanto maior for o coeficiente de correlação , quanto mais próximas as duas linhas será. Porém, quanto menor a correlação, menos forte a relação, menos acentuadas serão as linhas (isso é verdade para ambas as linhas e ) $\rho$ Y ~ XX ~ Y

— Sextus Empiricus
fonte

0

A resposta curta

O objetivo de uma regressão linear simples é apresentar as melhores previsões da yvariável, dados os valores da xvariável. Esse é um objetivo diferente do que tentar obter a melhor previsão da xvariável, dados os valores da yvariável.

Regressão linear simples de y ~ xdá-lhe a 'melhor' modelo possível para a previsão ydada x. Portanto, se você encaixar um modelo x ~ ye invertê-lo algebricamente, esse modelo poderia funcionar da melhor maneira possível, assim como o modelo y ~ x. Porém, a inversão de um modelo adequado x ~ ygeralmente será pior na previsão yfornecida x, em comparação com o y ~ xmodelo 'ótimo' , porque o " x ~ ymodelo invertido " foi criado para atender a um objetivo diferente.

Ilustração

Imagine que você tem o seguinte conjunto de dados:

Ao executar uma regressão OLS y ~ x, você cria o seguinte modelo

y = 0.167 + 1.5*x

Isso otimiza as previsões yfazendo as seguintes previsões, que têm erros associados:

As previsões da regressão OLS são ótimas no sentido de que a soma dos valores na coluna mais à direita (ou seja, a soma dos quadrados) é a menor possível.

Quando você executa uma regressão de OLS x ~ y, cria um modelo diferente:

x = -0.07 + 0.64*y

Isso otimiza as previsões de x, fazendo as seguintes previsões, com erros associados.

Novamente, isso é ideal no sentido de que a soma dos valores da coluna mais à direita é o menor possível (igual a 0.071).

Agora, imagine que você tentou inverter o primeiro modelo y = 0.167 + 1.5*x, usando álgebra, fornecendo o modelo x = -0.11 + 0.67*x.

Isso forneceria as seguintes previsões e erros associados:

A soma dos valores na coluna mais à direita 0.074é maior do que a soma correspondente do modelo obtido pela regressão de x em y, ou seja, o x ~ ymodelo. Em outras palavras, o " y ~ xmodelo invertido " está fazendo um trabalho pior na previsão de x do que o modelo OLS de x ~ y.

— bschneidr
fonte