Como derivar o estimador de mínimos quadrados para regressão linear múltipla?

30

No caso de regressão linear simples , é possível derivar o estimador de mínimos quadrados que você não precise conhecer para estimar $y=\beta_0+\beta_1x$ $\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ $\hat\beta_0$ $\hat\beta_1$

Suponha que eu tenha , como derivar sem estimar ? ou isto nao e possivel? $y=\beta_1x_1+\beta_2x_2$ $\hat\beta_1$ $\hat\beta_2$

— Saber CN
fonte

1

Você pode omitir uma das variáveis e ainda obter uma estimativa imparcial da outra se elas forem independentes.

— david25272

51

A derivação na notação matricial

A partir de , que é realmente o mesmo que $y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

tudo se resume a minimizar : $e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Portanto, minimizar o $e'e'$ nos dá:

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

$min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Uma última coisa matemática, a condição de segunda ordem para um mínimo requer que a matriz seja definida positivamente. Este requisito é cumprido no caso de ter classificação completa. $X'X$ $X$

A derivação mais precisa que segue todas as etapas do departamento maior pode ser encontrada em http://economictheoryblog.com/2015/02/19/ols_estimator/

— Andreas Dibiasi
fonte

3

Essa derivação é precisamente o que eu estava procurando. Não há etapas ignoradas. Surpreendente como é difícil encontrar o mesmo.

— Javadba

1

Na equação da matriz, o segundo não deveria *ser um +? Além disso, não deveria ser vez de para obter as dimensões correspondentes?

b_{K}

$b_K$

b_{N}

$b_N$

— Alexis Olson

Alexis Olson, você está certo! Eu editei minha resposta.

— Andreas Dibiasi

13

É possível estimar apenas um coeficiente em uma regressão múltipla sem estimar os outros.

A estimativa de é obtida removendo os efeitos de das outras variáveis e, em seguida, regredindo os resíduos de contra os resíduos de . Isso é explicado e ilustrado. Como exatamente se controla outras variáveis? e Como normalizar (a) coeficiente de regressão? . A vantagem dessa abordagem é que ela não requer cálculo, álgebra linear, pode ser visualizada usando apenas geometria bidimensional, é numericamente estável e explora apenas uma idéia fundamental de regressão múltipla: a de remover (ou "controlar") ) os efeitos de uma única variável. $\beta_1$ $x_2$ $y$ $x_1$

No presente caso, a regressão múltipla pode ser feita usando três etapas de regressão comuns:

Regresse em (sem um termo constante!). Seja o ajuste . A estimativa é Portanto, os resíduos são Geometricamente, é o que resta de depois que sua projeção em é subtraída. $y$ $x_2$ $y = \alpha_{y,2}x_2 + \delta$
$α_{y, 2} = \frac{\sum_{Eu} y_{Eu} x_{2 Eu}}{\sum_{Eu} x_{2 Eu}^{2}} .$ $\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$ $δ = y - α_{y, 2} x_{2} .$ $\delta = y - \alpha_{y,2}x_2.$ $\delta$ $y$ $x_2$
Regresse em (sem um termo constante). Seja o ajuste . A estimativa éOs resíduos sãoGeometricamente, é o que resta de depois que sua projeção em é subtraída. $x_1$ $x_2$ $x_1 = \alpha_{1,2}x_2 + \gamma$
$α_{1, 2} = \frac{\sum_{Eu} x_{1 Eu} x_{2 Eu}}{\sum_{Eu} x_{2 Eu}^{2}} .$ $\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$ $γ = x_{1} - α_{1, 2} x_{2} .$ $\gamma = x_1 - \alpha_{1,2}x_2.$ $\gamma$ $x_1$ $x_2$
Regresse em (sem um termo constante). A estimativa éO ajuste será . Geometricamente, é o componente de (que representa com retirado) na direção (que representa com retirado). $\delta$ $\gamma$
${\hat{β}}_{1} = \frac{\sum_{Eu} δ_{Eu} γ_{Eu}}{\sum_{Eu} γ_{Eu}^{2}} .$ $\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$ $\delta = \hat\beta_1 \gamma + \varepsilon$ $\hat\beta_1$ $\delta$ $y$ $x_2$ $\gamma$ $x_1$ $x_2$

Observe que não foi estimado. $\beta_2$ Ele pode ser facilmente recuperado do que foi obtido até o momento (assim como no caso de regressão comum é facilmente obtido a partir da estimativa de inclinação ). O são os resíduos da regressão bivariada de em e . $\hat\beta_0$ $\hat\beta_1$ $\varepsilon$ $y$ $x_1$ $x_2$

O paralelo com a regressão comum é forte: os passos (1) e (2) são análogos da subtração dos meios na fórmula usual. Se você deixar um vetor de unidades, recuperará de fato a fórmula usual. $x_2$

Este generaliza na forma óbvia de regressão com mais de duas variáveis: para estimar , regress e separadamente contra todas as outras variáveis, então regredir seus resíduos uns contra os outros. Nesse ponto, nenhum dos outros coeficientes na regressão múltipla de ainda foi estimado. $\hat\beta_1$ $y$ $x_1$ $y$

— whuber
fonte

1

Ótima resposta, aqui está um teorema geral en.wikipedia.org/wiki/…

— JohnK

4

A estimativa dos mínimos quadrados ordinários de é uma função linear da variável de resposta $\beta$ . Simplificando, a estimativa do OLS dos coeficientes, os 's, pode ser escrita usando apenas a variável dependente ( ' s) e as variáveis independentes ( 's). $\beta$ $Y_i$ $X_{ki}$

Para explicar esse fato para um modelo de regressão geral, você precisa entender um pouco de álgebra linear. Suponha que você queira estimar os coeficientes em um modelo de regressão múltipla, $(\beta_0, \beta_1, ...,\beta_k)$

Y_{i} = β_{0} + β_{1} X_{1 i} + . . . + β_{k} X_{k i} + ϵ_{i}

$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$

onde para . A matriz de design é uma matriz , em que cada coluna contém as observações da variável dependente . Você pode encontrar muitas explicações e derivações aqui da fórmula usada para calcular os coeficientes estimados , que é $\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$ $i=1,...,n$ $\mathbf{X}$ $n\times k$ $n$ $k^{th}$ $X_k$ $\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$

assumindo que o inverso exista. Os coeficientes estimados são funções dos dados, não dos outros coeficientes estimados. $(\mathbf{X}^\prime \mathbf{X})^{-1}$

— Caburke
fonte

Eu tenho uma pergunta de acompanhamento, no caso de regressão simples, você faz então se torna uma matriz de e , siga o . Como devo reescrever a equação no meu caso?

y_{i} = β_{0} + β_{1} \bar{x} + β_{1} (x_{i} - \bar{x}) + e_{i}

$y_i=\beta_0+\beta_1\bar x+\beta_1(x_i-\bar x)+e_i$

X

$X$

(1, . . ., 1)

$(1,...,1)$

(x_{1} - \bar{x}, . . ., x_{n} - \bar{x})

$(x_1-\bar x,...,x_n-\bar x)$

\hat{β} = (X^{'} X)^{(} - 1) X^{'} Y

$\hat\beta=(X'X)^(-1)X'Y$

— Sabre CN

E mais uma pergunta: isso se aplica aos casos em que e não são lineares, mas o modelo ainda é linear? Por exemplo, a curva de decaimento , posso substituir o exponencial por e para que se torne minha pergunta original?

x_{1}

$x_1$

x_{2}

$x_2$

y = β_{1} e^{x_{1} t} + β_{2} e^{x_{2} t}

$y=\beta_1 e^{x_1t}+\beta_2 e^{x_2t}$

x_{1}^{'}

$x_1'$

x_{2}^{'}

$x_2'$

— Sabre CN

Em seu primeiro comentário, você pode centralizar a variável (subtrair sua média) e usar essa é sua variável independente. Procure por "regressão padronizada". A fórmula que você escreveu em termos de matrizes não está correta. Para sua segunda pergunta, sim, você pode fazer isso, um modelo linear é linear em , desde que igual a uma combinação linear de , você está bem.

β

$\beta$

y

$y$

β

$\beta$

— Caburke

2

(+1). Mas não deveria ser " matrix" em vez de ?

n \times k

$n \times k$

k \times n

$k \times n$

— Miura

3

Uma pequena nota menor sobre teoria versus prática. Matematicamente podem ser estimados com a seguinte fórmula: $\beta_0, \beta_1, \beta_2 ... \beta_n$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\beta} = (X'X)^{-1} X'Y$

onde é o dado de entrada original e é a variável que queremos estimar. Isso decorre da minimização do erro. Vou provar isso antes de fazer uma pequena observação prática. $X$ $Y$

Seja o erro que a regressão linear comete no ponto . Então: $e_i$ $i$

e_{i} = y_{i} - \hat{y_{i}}

$e_i = y_i - \hat{y_i}$

O erro quadrado total que cometemos é agora:

\sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} (y_{i} - \hat{y_{i}})^{2}

$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$

Por termos um modelo linear, sabemos que:

\hat{y_{i}} = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + . . . + β_{n} x_{n, i}

$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$

Que pode ser reescrito na notação de matriz como:

\hat{Y} = X β

$\hat{Y} = X\beta$

Nós sabemos isso

\sum_{i = 1}^{n} e_{i}^{2} = E^{'} E

$\sum_{i=1}^n e_i^2 = E'E$

Queremos minimizar o erro quadrado total, para que a seguinte expressão seja o menor possível

E^{'} E = (Y - \hat{Y})^{'} (Y - \hat{Y})

$E'E = (Y-\hat{Y})' (Y-\hat{Y})$

Isso é igual a:

E^{'} E = (Y - X β)^{'} (Y - X β)

$E'E = (Y-X\beta)' (Y-X\beta)$

A reescrita pode parecer confusa, mas decorre da álgebra linear. Observe que as matrizes se comportam de maneira semelhante às variáveis quando as multiplicamos em alguns aspectos.

Queremos encontrar os valores de forma que essa expressão seja o menor possível. Precisamos diferenciar e definir a derivada igual a zero. Nós usamos a regra da cadeia aqui. $\beta$

\frac{d E^{'} E}{d β} = - 2 X^{'} Y + 2 X^{'} X β = 0

$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$

Isto dá:

X^{'} X β = X^{'} Y

$X'X\beta = X'Y$

Tais que finalmente:

β = (X^{'} X)^{- 1} X^{'} Y

$\beta = (X'X)^{-1} X'Y$

Então, matematicamente, parecemos ter encontrado uma solução. Porém, há um problema: é muito difícil calcular se a matriz é muito grande. Isso pode causar problemas de precisão numérica. Outra maneira de encontrar os valores ideais para nessa situação é usar um método do tipo descida de gradiente. A função que queremos otimizar é ilimitada e convexa; portanto, também usaríamos na prática um método de gradiente, se necessário. $(X'X)^{-1}$ $X$ $\beta$

— Vincent Warmerdam
fonte

exceto que você realmente não precisa calcular ... #

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— user603 18/12/2012

ponto válido. também se poderia usar o processo gram schmidt, mas eu só queria observar que encontrar os valores ideais para o vetor também pode ser feito numericamente devido à convexidade.

β

$\beta$

— Vincent Warmerdam

2

Uma derivação simples pode ser feita apenas usando a interpretação geométrica de LR.

A regressão linear pode ser interpretada como a projeção de no espaço da coluna . Assim, o erro, é ortogonal ao espaço de coluna de . $Y$ $X$ $\hat{\epsilon}$ $X$

$X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

O que implica que,

$(X'X)^{-1}X'y = \hat{\beta}$

Agora o mesmo pode ser feito por:

$Y$ $X_2$ $\delta = Y-X_2 \hat{D}$ $\hat{D} = (X_2'X_2)^{-1}X_2'y$

$X_1$ $X_2$ $\gamma = X_1 - X_2 \hat{G}$ $\hat{G} = (X_1'X_1)^{-1}X_1X_2$

e finalmente,

$\delta$ $\gamma$ $\hat{\beta}_1$

— Dnaiel
fonte