O que significa "tudo o resto" significa na regressão múltipla?

Quando fazemos várias regressões e dizemos que estamos olhando para a mudança média na variável para uma mudança na variável , mantendo todas as outras variáveis constantes, em quais valores estamos mantendo as outras variáveis constantes? A média deles? Zero? Qualquer valor? $y$ $x$

Estou inclinado a pensar que tem algum valor; apenas procurando esclarecimentos. Se alguém tivesse uma prova, isso seria ótimo também.

— EconStats
fonte

Eu achei o exemplo 10 no artigo de Peter Kennedy muito útil para entender isso.

— Dimitriy V. Masterov

Sim, o pouco sobre aumentar o número de quartos e manter os pés quadrados constantes é um ponto realmente atento. Esse artigo é na verdade uma mina de ouro de idéias úteis, está nas notas de doutorado.

— EconStats

Esta é realmente uma pergunta muito interessante, eu me pergunto se os economistas se perguntam o que "ceteris paribus" significa exatamente.

— mugen

Você está certo. Tecnicamente, é qualquer valor . No entanto, quando eu ensinar isso eu costumo dizer às pessoas que você está recebendo o efeito de uma mudança uma unidade em $X_j$ quando todas as outras variáveis são realizadas em seus respectivos meios. Eu acredito que essa é uma maneira comum de explicar que não é específica para mim.

Costumo mencionar que, se você não tiver nenhuma interação, será o efeito de uma alteração de uma unidade em , independentemente dos valores de suas outras variáveis. Mas eu gosto de começar com a formulação média. O motivo é que existem dois efeitos da inclusão de várias variáveis em um modelo de regressão. Primeiro, você obtém o efeito de controlando as outras variáveis (veja minha resposta aqui ). A segunda é que a presença de outras variáveis (normalmente) reduz a variação residual do modelo, tornando suas variáveis (incluindo $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'Mais significante'. É difícil para as pessoas entenderem como isso funciona se as outras variáveis tiverem valores que estão em todo lugar. Parece que isso aumentaria a variabilidade de alguma forma. Se você pensar em ajustar cada ponto de dados para cima ou para baixo para o valor de cada outra variável até que todas as demais variáveis tenham sido movidas para suas respectivas médias, é mais fácil ver que a variabilidade residual foi reduzida. $X$

Não interajo até uma ou duas aulas depois de apresentar os conceitos básicos da regressão múltipla. No entanto, quando chego a eles, volto a este material. O acima se aplica quando não há interações. Quando há interações, é mais complicado. Nesse caso, a variável de interação [s] está sendo mantida constante (muito especificamente) em e em nenhum outro valor. $0$

Se você quiser ver como isso ocorre algebricamente, é bastante direto. Podemos começar com o caso de não interação. Vamos determinar a mudança no quando todas as outras variáveis são constantes realizada em seus respectivos meios. Sem perda de generalidade, vamos dizer que existem três variáveis e estamos interessados em compreender como a mudança em está associada com uma mudança uma unidade em , segurando e constantes em seus respectivos meios: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Agora é óbvio que poderíamos colocar qualquer valor para e nas duas primeiras equações, desde que atribuíssemos o mesmo valor para ( ) em ambas. Ou seja, enquanto mantivermos e constantes . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

Por outro lado, não funciona dessa maneira se você tiver uma interação. Aqui mostro o caso em que há um termo de interação : $X_1X_3$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

Nesse caso, não é possível manter tudo o mais constante. Como o termo de interação é uma função de e , não é possível alterar sem que o termo de interação também seja alterado. é igual à variação em associado com uma mudança uma unidade em somente quando a variável de interagir ( ) é mantida a em vez de (ou qualquer outro valor, mas ), em cujo caso o último termo na equação inferior desaparece. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

Nesta discussão, concentrei-me nas interações, mas, de maneira mais geral, o problema é quando existe uma variável que é função de outra, de forma que não é possível alterar o valor da primeira sem alterar o valor respectivo da outra variável. . Em tais casos, o significado de torna-se mais complicada. Por exemplo, se tinha um modelo com e , então é o derivado $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ mantendo todo o resto igual e mantendo(veja minha respostaaqui). Outras formulações ainda mais complicadas também são possíveis. $\frac{dY}{dX_j}$ $X_j=0$

— - Reinstate Monica
fonte

Obrigado, esta resposta é ótima em alguns níveis. Em primeiro lugar, ele responde ao ponto principal em que eu estava interessado. Em segundo lugar, você previu qual seria minha pergunta de acompanhamento, porque eu perguntaria como isso mudou com a introdução dos termos de interação. Obrigado pela matemática também. Eu sei que essa pergunta é meio básica, mas eu sinto que você nunca pode ser muito explícito com esses conceitos.

— EconStats

De nada, @EconStats. Não há nenhum problema em incluir a matemática, às vezes fica muito mais fácil entender o que está acontecendo.

— gung - Restabelece Monica

Bem, eu tenho que dizer que quando você subtraiu a primeira equação da segunda equação, finalmente confirmou meus pensamentos originais de que não importa quais são os valores de

, desde que sejam os mesmos nas duas equações. Parece tão óbvio para mim, mas eu nunca pensei em calcular o

dessa maneira antes. Momento definitivo de lâmpada para mim.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

— EconStats

Você também pode tomar a derivada de

wrt

e vai chegar ao mesmo lugar, mas esta é a matemática mais fácil (essencialmente álgebra do ensino médio), por isso vai ser acessível a um público mais amplo.

Y

$Y$

X_{j}

$X_j$

— gung - Restabelece Monica

@ beterraba, se bem entendi, você apenas a segura em um nível especificado. (Caso contrário, você pode fazer isso como uma nova pergunta.)

— gung - Reinstate Monica

A matemática é simples, basta considerar a diferença entre dois modelos com uma das variáveis x alteradas por 1 e você verá que não importa quais são as outras variáveis (dado que não há interações, polinômios ou outros termos complicadores).

Um exemplo:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
fonte

$X_i$

Y = β_{0 0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

$X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

Assim como uma tangente interessante, aqui está um exemplo: Seja $X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

c o v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + uma)] - E (X_{1}) . E (X_{1}^{2} - uma) W Eu t h uma \sim N (0 0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . a) - 0. E (X_{1}^{2} - a) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

$X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

$\frac{\Delta{Y}}{\Delta{X_i}}$

— Hans Roggeman
fonte

Obrigado Hans, eu estava realmente tentando chegar ao ponto que o gung fez, mas este é um bom exemplo de quando as duas variáveis são dependentes.

— EconStats