Qual é a relação entre a função

Considere a função

$r (x) = E (Y ∣ X = x)$ $r(x) = \mathbb{E}(Y \mid X = x)$

Isso foi chamado de função de regressão em um livro que estou usando. Estou tentando descobrir a relação entre essa função e o modelo clássico de regressão linear.

Então, eu sei que é um teorema * que podemos escrever

Y = r (X) + ϵ

$Y = r(X) + \epsilon$

para alguma variável aleatória st . $\epsilon$ $\mathbb{E}(\epsilon) = 0$

Agora suponha que tenhamos

$Y = β_{0} + β_{1} X + ϵ$ $Y = \beta_0 + \beta_1 X + \epsilon$

Essa é a função clássica de regressão unidimensional (assumindo que e minimizam a soma residual dos quadrados). $\beta_0$ $\beta_1$

Pergunta: É então um teorema matemático que, se é definido como acima, $Y$

r (X) = E (Y ∣ X) = (β_{0} + β_{1} X) ?

$r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)?$

E é por isso que a função é chamada de "função de regressão"? $\mathbb{E}(Y \mid X)$

EDIT: O teorema que eu estou usando é o seguinte (de All of Statistics, pág. 89):

Modelos de regressão às vezes são escritos como

$Y = r (X) + ϵ$ $Y = r(X) + \epsilon$
onde . Sempre podemos reescrever um modelo de regressão dessa maneira. Para ver isso, defina e, portanto, . Além disso, $\mathbb{E}(\epsilon) = 0$ $\epsilon = Y - r(X)$ $Y = Y + r(X) - r(X) = r(X) + \epsilon$ . $\mathbb{E}(\epsilon) = \mathbb{E}\mathbb{E}(\epsilon \mid X) = \mathbb{E}(\mathbb{E}(Y - r(X)) \mid X) = \mathbb{E}(\mathbb{E} ( Y \mid X) - r(X)) = \mathbb{E}(r(X) - r(X)) = 0$

regression linear-model

— George
fonte

A conexão é que um modelo de regressão linear é exatamente a afirmação de que

é uma função linear de alguns Xs observados. Naturalmente, essa afirmação não precisa ser verdadeira, embora, como aproximação de

, possa ser melhor ou pior. O capítulo "Econometria na maior parte inofensiva", chamado "Fazendo a regressão fazer sentido", é uma boa discussão.

r

$r$

r

$r$

— conjugateprior

Ou eu perdi o que você estava perguntando?

— conjugateprior

Verifique a resposta relacionada: stats.stackexchange.com/questions/173660/…

— Tim

Resumindo a pergunta:

Dado , é então um teorema matemático que ? $Y = \beta_0 + \beta_1 X + \varepsilon$ $r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)$

Sim, pelas propriedades básicas da expectativa:

\begin{aligned} E (Y ∣ X) & = E (β_{0} + β_{1} X + ε) \\ = E (β_{0}) + E (β_{1} X) + E (ε) & (linearity of expectation) \\ = β_{0} + β_{1} X + 0 & (Noting that X is constant here \\ because we conditioned on it.) \\ = β_{0} + β_{1} X \end{aligned}

$\begin{align} \operatorname{E}(Y\mid X) & = \operatorname{E}(\beta_0 + \beta_1 X + \varepsilon) \\[6pt] & = \operatorname{E}(\beta_0) + \operatorname{E}(\beta_1 X) + \operatorname{E}(\varepsilon) & & \text{(linearity of expectation)} \\[6pt] & = \beta_0 + \beta_1 X + 0 & & \text{(Noting that $X$ is constant here} \\[-2pt] & & & \quad \text{because we conditioned on it.)} \\[6pt] & = \beta_0 + \beta_1 X \end{align}$

As razões históricas para que a regressão seja chamada de regressão estão relacionadas a Galton percebendo o efeito " regressão à média " - inicialmente em um experimento em plantas que envolvem o tamanho da semente da prole em comparação com o tamanho da semente dos pais. Uma relação através do tamanho médio da semente em ambas as variáveis terá uma inclinação menor que (que inclinação pode ser estimada pelo que chamamos de regressão linear). Quanto menor a inclinação, mais forte o efeito "regressão". A questão é ilustrada por Galton no pdf vinculado por alturas de crianças (como adultos) em comparação com alturas médias dos pais (as fêmeas são escalonadas por um fator constante de para torná-las comparáveis aos machos). Os diagramas da terceira à quinta páginas indicam algo do que foi observado. $1$ $8\%$

$-1$ $1$

— Glen_b -Reinstate Monica
fonte

Substituí seu uso bruto de \ qquad pelo uso correto de "align" no MathJax, além de alguns outros detalhes do MathJax, e espero a revisão por pares da edição.

$\qquad$

— Michael Hardy

@ Michael Estou ciente do alinhamento e já o usei muitas vezes - mas qual é o benefício real na edição neste caso? Queria que ele fosse alinhado, e não no centro, para deixar espaço para que os comentários estivessem em uma única linha e queria que os comentários não estivessem no texto pesado que MahJax deixa com você, preferindo o texto claro da marcação comum. O resultado atual é algo que não corresponde mais à aparência que eu estava realmente procurando. Em vez de ser "bruto", foi escolhido deliberadamente. Se você tem uma maneira de alcançar o que eu queria com menos esforço do que o necessário, sou todo ouvidos.

— Glen_b -Reinstala Monica

ok, acho que nem todos os gostos estão de acordo um com o outro

\dots

$\,\ldots\qquad$

— 22616 Michael Hardy

A aparência projetada é ideal, acho, para artigos e livros, mas nem sempre reflete o que acho melhor em um fórum como esse, pelo menos nem sempre. Reconheço meus gostos sobre esse assunto (e vários outros aspectos da aparência do site, que muitas vezes tento contornar) podem ser diferentes da norma, então deixarei como está, mas não prometo continuar tentando. tente alinhar para fazer o que eu quero quando parecer mais fácil de outras maneiras.

— Glen_b -Reinstar Monica

X

$X$

Y

$Y$

E (Y ∣ X) = (β_{0} + β_{1} X) + ϵ

$\mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X) + \epsilon$

β_{0}, β_{1}

$\beta_0, \beta_1$