É possível executar uma regressão em que você possui uma variável de recurso desconhecida / desconhecida?

Diga que eu tenho $y_n = a_0 + a_1 x_1 + a_2 x_2 + a_3 x_3$ mas eu não / não posso medir o valor da variável do recurso $x_3$ . Ainda posso realizar uma regressão para verificar os coeficientes $a_i$ ?

Que tal se eu tiver algum conhecimento das estatísticas de como $x_3$ é distribuído? Se eu souber disso $x_3$ é extraído de uma distribuição gaussiana $\mathcal{N}(0, \sigma^2)$ , com conhecidos $\sigma$ isso me permite executar a regressão para verificar os valores de $a_i$ ?

regression machine-learning stochastic-processes

— SomeRandomPhysicist
fonte

Não, como você saberia o que é atribuível ao recurso e o que é aleatório?

— user2974951

Se fosse possível, o mundo seria lindo! Imagine: sem coleta de dados! sem disputas de dados! Ninguém lhe enviando dados como imagem embeded no documento do Word ...

— Łukasz Deryło

Obrigado pelas respostas, só queria alguma confirmação de que era esse o caso, como eu suspeitava. Acho que ainda é possível realizar a regressão nas outras variáveis de recurso se o efeito de

x_{3}

$x_3$ era muito fraco em relação às outras variáveis de recurso e, portanto, poderia ser totalmente negligenciado, mas no caso em que há uma grande contribuição, a regressão é impossível.

— SomeRandomPhysicist

@ user2974951 Por que não transformar isso em resposta? Eu nem acho que você precisaria expandir isso.

— mkt - Restabelece Monica

Que tal um modelo de espaço de estado?

— Chris Haug

Respostas:

A fórmula completa para um modelo linear é (na forma de quase matriz)

Y = β X + ϵ

$Y=\beta X+\epsilon$

Portanto, temos vários coeficientes para as variáveis que estamos controlando e, em seguida, temos $\epsilon$ , que é tudo o mais que não explicamos com nossas variáveis incluídas.

Nesse termo de erro, pertencem todas as variáveis que não consideramos, porque não temos informações para elas ou porque simplesmente não as conhecemos (desvio aleatório).

Portanto, não há como você saber o que neste termo pertence ao termo desconhecido.

— user2974951
fonte

Promovido pela excelência e clareza da resposta.

— James Phillips

Que tal se eu tiver algum conhecimento das estatísticas de como o x3 é distribuído?

Se você fizer a regressão de $y$ em $x_1$ e $x_2$ , se você deseja adivinhar como $x_3$ se correlaciona com cada uma delas, é possível calcular o que essas suposições implicariam para como os coeficientes estimados mudariam se você pudesse observar $x_3$ e executou a regressão completa.

Suponha, por exemplo, que $x_3$ não está correlacionado com $x_1$ . Então

$\alpha_{2, \text{your regression}} =\alpha_{2, \text{full regression}} + \alpha_3 \cdot \frac{cov(x_3, x_2)}{var(x_2)}$

Então se $x_3$ é provável que esteja apenas fracamente correlacionado com $y$ ou $x_1$ e $x_2$ pouco mudaria. E, se for, você pode usar essas fórmulas de viés de variável omitida para prever como as coisas mudariam.

— CloseToC
fonte

É sempre possível ... mas suas estimativas serão tendenciosas em muitos casos. O caso mais favorável ocorre:
(a) quando $x_{3n}$ não está correlacionado com os outros regressores, neste caso, regride $y_n$ em $(\iota,x_{1},x_{2})$ e você tem estimativas imparciais de $a_0,a_1,a_2$ (Teorema de Frish-Waugh-Lovell)
(b) Se, além de (a) você sabe $\sigma$ e $x_3 \sim \mathcal{N}(0, \sigma^2)$ , você pode até identificar $a_3$ : desenhar $N$ valores de iid para $x_{3n} \sim \mathcal{N}(0, \sigma^2)$ e regredir $y_n$ em $(\iota,x_{1},x_{2},x_{3})$ .

— Bertrand
fonte

Você poderia explicar melhor como executar a regressão na situação (b)? Você gera valores para o desconhecido

x_{3}

$x_3$ desenhando-os de

N (0, σ^{2})

$\mathcal{N}(0, \sigma^2)$ e depois regredir nisso?

— SomeRandomPhysicist

Sim, é assim que se faz. É possível iterar na geração e estimativa aleatória de números, mas isso não parece interessante no seu caso simples. Existe uma literatura crescente sobre métodos baseados em simulação usando uma abordagem semelhante, mas eles são um pouco mais envolvidos do que no seu exemplo: veja Gouriéroux e Monfort, por exemplo. Veja também a descrição pedagógica no texbook de Cameron e Trivedi (2005).

— Bertrand