11

Não tenho uma definição formal de equivalência de escala, mas eis o que a Introdução à aprendizagem estatística diz sobre isso na p. 217:

Os coeficientes padrão de mínimos quadrados ... são equivalentes à escala : multiplicar por uma constante simplesmente leva a uma escala das estimativas do coeficiente de mínimos quadrados por um fator de . $X_j$ $c$ $1/c$

Para simplificar, vamos assumir o modelo linear geral $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ , em que $\mathbf{y} \in \mathbb{R}^N$ , $\mathbf{X}$ é uma matriz $N \times (p+1)$ (em que $p+1 < N$ ) com todas as entradas em $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ e $\boldsymbol\epsilon$ é um $N$ -dimensional vector de variáveis aleatórias com valores reais com $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ .

Pela estimativa do OLS, sabemos que se $\mathbf{X}$ possui uma classificação completa (coluna),

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Suponha que multiplicamos uma coluna de

X

$\mathbf{X}$ , digamos

x_{k}

$\mathbf{x}_k$ por alguns

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , por uma constante

c \neq 0

$c \neq 0$ . Isso seria equivalente à matriz

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ onde todas as outras entradas da matriz

S

$\mathbf{S}$ acima são

0

$0$ e

c

$c$ está na

k

$k$ ésima entrada da diagonal de

S

$\mathbf{S}$ . Então,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ como a nova matriz de design é

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Após algum trabalho, pode-se mostrar que

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} e

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Como mostro aqui a reivindicação citada acima (ou seja,

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? Não está claro para mim como calcular

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Clarinetist
fonte

Eu acho que seu não está certo, está faltando um multiplicador em uma linha inteira.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Além disso, lembre-se de que a reivindicação é , nem todos os .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug Sim, eu só descobri isso. Estou postando uma resposta.

— Clarinetist

2

Você pode substituir toda essa álgebra por uma análise de unidades muito mais simples, porque multiplicar por apenas altera sua unidade de medida e, portanto, a alteração correspondente nas unidades associadas ao seu coeficiente é dividi-la por . Isso não prova que deve ser dividido por , infelizmente. No entanto, essa cadeia de pensamento pode nos lembrar que a regressão múltipla pode ser realizada por uma sucessão de regressões contra um regressor de cada vez, onde fica claro que é dividido por e, portanto, a prova está completa.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber, embora a intuição para o resultado seja clara, parece que simplesmente deve haver um pouco de álgebra para fornecer uma prova. Afinal, o fator de escala precisa ser invertido.

c

$c$

— User795305

11

Como a asserção na citação é uma coleção de instruções sobre como redimensionar as colunas de , você também pode provar todas de uma vez. De fato, não é preciso mais trabalho para provar uma generalização da afirmação: $X$

Quando é multiplicado à direita por uma matriz invertível , a nova estimativa de coeficiente é igual a multiplicado à esquerda por . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Os únicos fatos algébricos que você precisa são os (facilmente comprovados e bem conhecidos) que para qualquer matriz e para matrizes inversíveis e . (Uma versão mais sutil desta última é necessária ao trabalhar com inversos generalizados: para e invertíveis e qualquer , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Prova de álgebra :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Para que essa prova seja totalmente geral, o sobrescrito refere-se a um inverso generalizado.) $^-$

Prova por geometria :

Bases dadas e de e , respectivamente, representa uma transformação linear de a . A multiplicação correta de por pode ser considerada como deixando essa transformação fixa, mas alterando para (ou seja, para as colunas de ). Sob essa mudança de base, a representação de qualquer vetor deve ser alterada por multiplicação à esquerda por , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Essa prova funciona, sem modificação, mesmo quando não é invertível.) $X^\prime X$

A cotação refere-se especificamente ao caso das matrizes diagonais com para e . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Conexão com mínimos quadrados

O objetivo aqui é usar os primeiros princípios para obter o resultado, sendo o princípio dos mínimos quadrados: estimar coeficientes que minimizam a soma dos quadrados dos resíduos.

Novamente, provar uma generalização (enorme) não prova mais difícil e é bastante revelador. Suponha que seja qualquer mapa (linear ou não) de espaços vetoriais reais e suponha que seja qualquer função com valor real em . Seja o (possivelmente vazio) conjunto de pontos para o qual é minimizado.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Resultado: , que é determinado apenas por e , não depende de nenhuma escolha de base usada para representar vetores em . $U$ $Q$ $\phi$ $E_p$ $V^p$

Prova: QED.

Não há nada a provar!

Aplicação do resultado: Seja uma forma quadrática semidefinida positiva em , e suponha que seja um mapa linear representado por quando bases de e são escolhidos. Defina . Escolha uma base de e suponha que é a representação de algum nessa base. Isso é o mínimo de quadrados : minimiza a distância ao quadrado . Porque $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ é um mapa linear, alterando a base de corresponde a direita multiplicando- por uma matriz invertível . Isso será multiplicado à esquerda por , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
fonte

6

Defina o estimador de mínimos quadrados , em que a matriz de design é a classificação completa. Supondo que a matriz de escala seja invertível. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Defina esse novo estimador em escala . Isso significa que para todos . Definindo , podemos reescrever essa desigualdade exibida acima como para todos . Portanto, , e segue-se que o estimador de mínimos quadrados Devido à invertibilidade da matriz de escala $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , segue-se que . No nosso caso, isso só difere de pelo entrada que está sendo dimensionado por .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
fonte

1

Não estou familiarizado como deveria trabalhar com e funções semelhantes - você poderia explicar a transição da sua segunda para a terceira linha de equações?

arg min

$\text{arg min}$

— Clarinetist

Eu escrevi um pouco diferente, o que deve tornar as etapas mais claras.

— precisa saber é o seguinte

Isso é realmente inteligente. (+1)

— Clarinetist

4

Eu descobri isso depois de postar a pergunta. Se meu trabalho estiver correto, no entanto, interpretei mal a reivindicação. A ocorre apenas no componente de correspondente à coluna de multiplicada por . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Observe que , na notação acima, é uma matriz diagonal, simétrica e possui inversa (porque é diagonal) Observe que é uma matriz . Vamos supor que $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Portanto, e multiplicando isso por tem um efeito semelhante ao que foi multiplicado por por - ele permanece o mesmo, é multiplicado por

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Portanto,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ conforme desejado.

— Clarinetist
fonte

Há um erro de digitação em . Você precisa transpor .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

A prova mais trivial de todos os tempos

Você começa com sua equação linear: Agora você deseja alterar a escala de seus regressores, talvez converter do sistema métrico para Imperial, você sabe quilogramas em libras, metros em jardas etc. Então, você vem com a matriz de conversão onde cada é o coeficiente de conversão para a variável (coluna) na matriz de design .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Vamos reescrever a equação:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Agora está bem claro que o dimensionamento é propriedade da linearidade da sua equação, não o método OLS de estimativa de coeficientes. Independentemente do método de estimativa com equação linear, você tem que, quando os regressores são dimensionados como seus novos coeficientes devem ser dimensionados como $XS$ $S^{-1}\beta$

Prova de álgebra apenas para OLS

A escala é a seguinte: onde factor de escala de cada uma das variáveis (coluna), e uma versão em escala de . Vamos chamar a matriz de escala diagonal . Seu estimador OLS é Vamos conectar a matriz em escala vez de e usar alguma álgebra de matriz : Então, você vê como o novo coeficiente é simplesmente o coeficiente antigo reduzido, conforme o esperado.

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
fonte

2

Gosto das suas abordagens, mas não estou convencido da "prova mais trivial de todos os tempos". Você assumiu implicitamente, e ainda precisa mostrar, que o modelo reescrito deve ter o mesmo ajuste que o original. Para colocá-lo com mais rigor: se visualizarmos um procedimento de ajuste como uma função , onde é o conjunto de todos os dados possíveis (que poderíamos escrever como o par ordenado ) e é o conjunto de todas as estimativas possíveis de coeficientes, é necessário demonstrar que para todos invertível , tudo , e todos . (Isso nem sempre é verdade!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@whuber, na verdade é o contrário: o procedimento de ajuste razoável deve atender a essa condição; caso contrário, uma simples mudança de unidade de medida produzirá uma previsão / estimativa diferente. eu vou atualizar a minha resposta, vai pensar um pouco

— Aksakal

Eu concordo - mas posso imaginar exceções nos casos em que não é da categoria completa. Isso foi o que me sugeriu que a situação não é tão trivial quanto parece.

X

$X$

— whuber

3

imperial mate, not royal ...: D (Resposta agradável, +1)

— usεr11852

@ usεr11852, eu aprendi alguma coisa hoje :)

— Aksakal

2

Uma maneira fácil de obter esse resultado é lembrar que é a projeção de no espaço da coluna de é o vetor de coeficientes quando é expresso como linear combinação de colunas de . Se alguma coluna é dimensionada por um fator , é claro que o coeficiente correspondente na combinação linear deve ser dimensionado em . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

Seja os valores de e os valores da solução OLS quando uma coluna for dimensionada por $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

implica que onde e , assumindo que as colunas de são linearmente independentes. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
fonte

Mostrando que o estimador OLS é equivalente em escala?

Conexão com mínimos quadrados

A prova mais trivial de todos os tempos

Prova de álgebra apenas para OLS