Polarização variável omitida na regressão logística vs. polarização variável omitida na regressão de mínimos quadrados ordinários

Eu tenho uma pergunta sobre o viés variável omitido na regressão logística e linear.

Digamos que eu omita algumas variáveis de um modelo de regressão linear. Finja que essas variáveis omitidas não estão correlacionadas com as variáveis que incluí no meu modelo. Essas variáveis omitidas não influenciam os coeficientes no meu modelo.

Mas na regressão logística, acabei de aprender que isso não é verdade. As variáveis omitidas influenciarão os coeficientes nas variáveis incluídas, mesmo que as variáveis omitidas não estejam correlacionadas com as variáveis incluídas. Encontrei um artigo sobre esse assunto, mas não consigo entender.

Aqui está o papel e alguns slides do powerpoint.

O viés, aparentemente, é sempre em direção a zero. Alguém pode explicar como isso funciona?

— ConfusedEconometricsUndergrad
fonte

Você conhece como o modelo de regressão logística emerge de um modelo de regressão linear subjacente de "variável latente"?

— Alecos Papadopoulos

@AlecosPapadopoulos Eu, pelo menos não sou. Qual é o prato?

— Alexis #

Existem outros artigos que discutem isso, mas o que você vinculou é o mais fácil que eu conheço. Então, acho que não posso melhorar.

— Maarten Buis

Prezado Sr. Papadopoulos: Eu li a ideia da variável latente. Por que você pergunta?

— precisa

@ Alexis Veja, por exemplo, este post, stats.stackexchange.com/questions/80611/… , e o artigo da wikipedia, en.wikipedia.org/wiki/… . Essa abordagem também esclarece que é a suposição que fazemos sobre o termo de erro do modelo subjacente que determina qual modelo obteremos no nível de Probabilidades. Por outro exemplo, se assumirmos que o erro subjacente segue um uniforme, obtemos o Modelo de Probabilidade Linear, consulte stats.stackexchange.com/questions/81789

— Alecos Papadopoulos

O caso do "viés de atenuação" pode ser apresentado com mais clareza se examinarmos o modelo "probit" - mas o resultado também é transferido para a regressão logística.

Sob os modelos de probabilidade condicional (modelos de logística (logit), "probit" e "probabilidade linear"), podemos postular um modelo de regressão linear latente (não observável):

y^{*} = X β + u

$y^* = X\beta + u$

onde é uma variável inobservável contínua (e é a matriz regressora). O termo de erro é considerado independente dos regressores e segue uma distribuição que tem uma densidade simétrica em torno de zero e, no nosso caso, a distribuição normal padrão . $y^*$ $X$ $F_U(u)= \Phi(u)$

Assumimos que o que observamos, ou seja, a variável binária , é uma função Indicadora do inobservável : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

Então perguntamos "qual é a probabilidade de assumir o valor dado os regressores?" (ou seja, estamos olhando para uma probabilidade condicional). Isto é $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

a última igualdade devido à propriedade "reflexiva" da função de distribuição cumulativa padrão, que vem da simetria da função de densidade em torno de zero. Observe que, embora tenhamos assumido que é independente de , é necessário condicionar para tratar a quantidade como não aleatória. $u$ $X$ $X$ $X\beta$

Se assumirmos que , obtemos o modelo teórico $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

Vamos agora seja independente de e erroneamente excluídos a partir da especificação da regressão subjacente. Então especificamos $X_2$ $X_1$

Suponha ainda que também seja uma variável aleatória normal . Mas isso significa que

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

devido ao fechamento sob adição da distribuição normal (e ao pressuposto de independência). Aplicando a mesma lógica de antes, aqui temos

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

$\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

$(1)$ $(2)$

$b_1$

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

que é o resultado de "desvio para zero".

$\epsilon$

— Alecos Papadopoulos
fonte