Solução analítica para estimativas de coeficientes de regressão linear

Estou tentando entender a notação matricial e trabalhando com vetores e matrizes.

No momento, eu gostaria de entender como o vetor de estimativas de coeficiente na regressão múltipla é calculado.$\hat{\beta}$

A equação básica parece ser

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Agora, como eu resolveria um vetor $\beta$ aqui?

Edit : Espere, eu estou preso. Estou aqui agora e não sei como continuar:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Com para todos os que sou o intercepto:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Você pode me apontar na direção certa?

Nós temos

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Isso pode ser mostrado escrevendo a equação explicitamente com os componentes. Por exemplo, escreva vez de . Então pegue derivadas em relação a , , ..., e empilhe tudo para obter a resposta. Para uma ilustração rápida e fácil, você pode começar com . β β 1 β 2 β p p = $(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Com a experiência, desenvolvemos regras gerais, algumas das quais são dadas, por exemplo, nesse documento .

Editar para orientar a parte adicionada da pergunta

Com , temos$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

A derivada em relação a é$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Da mesma forma, a derivada em relação a é$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Portanto, o derivado em relação a é$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Agora, observe que você pode reescrever a última expressão como

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Obviamente, tudo é feito da mesma maneira para uma maior .$p$

Você também pode usar fórmulas no livro de receitas Matrix . Nós temos

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Agora pegue derivadas de cada termo. Você pode notar que . A derivada do termo em relação a é zero. O termo restantey ′ y $\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

é da forma de função

$$f(x)=x'Ax+b'x,$$

na fórmula (88) no livro na página 11, com , e . O derivado é dado na fórmula (89):A = X ′ X b = - 2 X ′$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

tão

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Agora, já que , obtemos a solução desejada:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Aqui está uma técnica para minimizar a soma dos quadrados na regressão que realmente tem aplicações para configurações mais gerais e que eu acho útil.

Vamos tentar evitar completamente o cálculo da matriz vetorial.

Suponha que estamos interessados ​​em minimizar onde , e . Assumimos por simplicidade que e .Y ∈ R n X ∈ R n × p p

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$ p≤n r um n k ( X )=$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Para qualquer , obtemos E=‖y-X β +X β -Xβ‖ 2 2 =‖y-X β ‖ 2 2 +‖X(β - β )‖ 2 $\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Se pudermos escolher (encontrar!) Um vetor modo que o último termo do lado direito seja zero para cada , então estaríamos prontos, pois isso implicaria que . βminβE≥‖y-X β ‖ 2 $\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Mas, para todos se e somente se e esta última equação é verdadeira se e somente se . Portanto, é minimizado usando .β X T ( Y - X β ) = 0 X t X β = X T Y E $(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Embora isso possa parecer um "truque" para evitar o cálculo, ele realmente tem uma aplicação mais ampla e há alguma geometria interessante em jogo.

Um exemplo em que essa técnica torna uma derivação muito mais simples do que qualquer abordagem de cálculo de vetor de matriz é quando generalizamos para o caso da matriz. Vamos , e . Suponha que desejamos minimizar em toda a matriz de parâmetros . Aqui é uma matriz de covariância. X ∈ R n × q B ∈ R q × p E = t r ( ( Y - X B ) Σ $\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$ B

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Uma abordagem totalmente análoga à anterior acima estabelece rapidamente que o mínimo de é atingido usando Ou seja, em um cenário de regressão em que a resposta é um vetor com covariância e as observações são independentes, a estimativa do OLS é obtida fazendo regressões lineares separadas nos componentes da resposta.$\err$Σ

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Uma maneira de ajudá-lo a entender é não usar álgebra matricial, diferenciar cada aspecto de cada componente e depois "armazenar" os resultados em um vetor de coluna. Então nós temos:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Agora você tem dessas equações, uma para cada beta. Esta é uma aplicação simples da regra da cadeia:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Agora, podemos reescrever a soma dentro do colchete como Então você obtém:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Agora temos dessas equações e as "empilharemos" em um vetor de coluna. Observe como é o único termo que depende de , para que possamos empilhá-lo no vetor e obtemos:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Agora podemos pegar a versão beta fora da soma (mas devemos permanecer no RHS da soma) e, em seguida, fazer a inversão:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$