Como é possível obter um bom modelo de regressão linear quando não há correlação substancial entre o produto e os preditores?

Treinei um modelo de regressão linear, usando um conjunto de variáveis ​​/ recursos. E o modelo tem um bom desempenho. No entanto, percebi que não há variável com uma boa correlação com a variável prevista. Como isso é possível?

Um par de variáveis ​​pode mostrar alta correlação parcial (a correlação responsável pelo impacto de outras variáveis), mas baixa ou mesmo zero - correlação marginal (correlação pareada).

O que significa que a correlação pareada entre uma resposta, y e algum preditor, x pode ter pouco valor na identificação de variáveis ​​adequadas com valor "preditivo" (linear) entre uma coleção de outras variáveis.

Considere os seguintes dados:

   y  x
1  6  6
2 12 12
3 18 18
4 24 24
5  1 42
6  7 48
7 13 54
8 19 60

A correlação entre y e x é . Se eu chamar a linha dos mínimos quadrados, é perfeitamente horizontal e R 2 é, naturalmente, vai ser 0 .$0$$R^2$$0$

Mas quando você adiciona uma nova variável g, que indica de qual dos dois grupos as observações vieram, x se torna extremamente informativo:

   y  x g
1  6  6 0
2 12 12 0
3 18 18 0
4 24 24 0
5  1 42 1
6  7 48 1
7 13 54 1
8 19 60 1

O de um modelo de regressão linear com ambos o x e g variáveis em que vai ser um.$R^2$

É possível que esse tipo de coisa aconteça com todas as variáveis ​​do modelo - que todas tenham uma pequena correlação pareada com a resposta, mas o modelo com todas elas é muito bom em prever a resposta.

Leitura adicional:

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

$X_1$$X_2$

$X_2$$X_1$$X_1$$\rho_{x_{1},y|x_{2}}$$y=\beta_1X_1 +\beta_2X_2 + \epsilon$$\rho_{x_{1},y}$

$X$$X$$X$$X$$X$$X={x_1,x_2 ...}$$o_i$$p_i$$c_i$$\sum c_io_i =0$$\sum c_ix_i$$\sum c_io_i =0$$\sum c_ix_i$$X_1$$X_2$$E$$X'_1$$X'_2$$E$$X_1$$X'_1$$X_2$$X'_2$$E$$X'_1$$X'_2$$Y$$Y$