Regressão sem interceptar: decorrentes

Em Introdução à aprendizagem estatística (James et al.), Na seção 3.7, exercício 5, afirma que a fórmula para assumindo regressão linear sem interceptação é que e são as estimativas usuais no OLS para regressão linear simples ( ). $\hat{\beta}_1$

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} x_{i} y_{i}}{\sum_{i = 1}^{n} x_{i}^{2}},

$\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$

{\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}

$\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}$

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$

Este não é o exercício real ; Estou apenas querendo saber como derivar a equação. Sem usar álgebra matricial , como derivá-lo?

Minha tentativa: com , temos . $\hat{\beta}_0 = 0$ $\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}}$

Após alguma álgebra, pode-se mostrar que e . A partir daqui, eu estou preso. $\displaystyle S_{xy} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}\bar{y}$ $\displaystyle S_{xx} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}^2$

self-study least-squares

— Clarinetist
fonte

A fórmula é imediata a partir da interpretação geométrica dos mínimos quadrados , usandocomo um "correspondente" para e reconhecendo a fórmula para como sendo.

x / | | x | |

$x/||x||$

y

$y$

({\hat{β}}_{1}) x

$(\hat\beta_1)x$

(y \cdot (x / | | x | |)) x / | | x | |

$(y\cdot (x/||x||))x/||x||$

— whuber

@whuber: Em vez de escrever eu escreveriaSe isso não for notável o suficiente para você, considere a diferença tipográfica entre codificado como || x || || y || e codificado como \ | x \ | \ | y \ |.

x / | | x | |,

$x/||x||,$

x / ‖ x ‖ .

$x/\|x\|.$

| | x | | | | y | |,

$||x|| ||y||,$

‖ x ‖ ‖ y ‖,

$\|x\|\|y\|,$

$\qquad$

— Michael Hardy

Isso é direto na definição de Mínimos Quadrados Ordinários. Se não houver interceptação, alguém está minimizando . Como é suave como uma função de , todos os mínimos (ou máximos) ocorrem quando a derivada é zero. Diferenciando em relação a , obtemos . Resolver para fornece a fórmula. $R(\beta) = \sum_{i=1}^{i=n} (y_i- \beta x_i)^2$ $\beta$ $\beta$ $-\sum_{i=1}^{i=n} 2(y_i- \beta x_i)x_i$ $\beta$

— meh
fonte