Equação para os fatores de inflação da variação

Após uma pergunta feita anteriormente, os fatores de inflação de variação (VIFs) podem ser expressos como é a versão em escala de tamanho da unidade de

{VIF}_{j} = \frac{Var ({\hat{b}}_{j})}{σ^{2}} = [w_{j}^{'} w_{j} - w_{j}^{'} W_{- j} (W_{- j}^{'} W_{- j})^{- 1} W_{- j}^{'} w_{j}]^{- 1}

$\textrm{VIF}_j = \frac{\textrm{Var}(\hat{b}_j)}{\sigma^2} = [\mathbf{w}_j^{\prime} \mathbf{w}_j - \mathbf{w}_j^{\prime} \mathbf{W}_{-j} (\mathbf{W}_{-j}^{\prime} \mathbf{W}_{-j})^{-1} \mathbf{W}_{-j}^{\prime} \mathbf{w}_j]^{-1}$

W

$\mathbf{W}$

X

$\mathbf{X}$

Alguém pode me mostrar como chegar daqui à equação é o coeficiente de determinação múltipla obtido pela regressão de nas outras variáveis do regressor.

{VIF}_{j} = \frac{1}{1 - R_{j}^{2}}

$\textrm{VIF}_j = \frac{1}{1-R_j^2}$

R_{j}^{2}

$R_j^2$

x_{j}

$x_j$

Estou tendo muitos problemas para acertar essas operações de matriz ...

multiple-regression vif

— Comunidade
fonte

Suponha que todas as variáveis sejam padronizadas pela transformação de correlação, como você mencionou, na versão escalonada do tamanho da unidade . O modelo padronizado não altera a correlação entre variáveis pode ser calculado quando é feita a transformação padronizada do modelo linear original. Vamos denotar a matriz de design após a transformação padronizada como Então $X$ $\mathbf{X}$ $X$ $VIF$

\begin{aligned} X^{*} = [\begin{matrix} 1 & X_{11} & \dots & X_{1, p - 1} \\ 1 & X_{21} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & X_{n 1} & \dots & X_{n, p - 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X^*} = \begin{bmatrix} 1& X_{11}& \ldots &X_{1,p-1} \\ 1& X_{21}& \ldots &X_{2,p-1} \\ \vdots & \vdots & \vdots & \vdots \\ 1& X_{n1}& \ldots &X_{n,p-1} \\ \end{bmatrix}. \end{align*}$

\begin{aligned} X^{*^{'}} X^{*} = [\begin{matrix} n & 0^{'} \\ 0 & r_{X X} \end{matrix}], \end{aligned}

$\begin{align*} \mathbf{X^{*'}X^*} = \begin{bmatrix} n & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}_{XX} \end{bmatrix}, \end{align*}$ que é a matriz de correlação das variáveisTambém sabemos que para é o ésimo termo diagonal de .

r_{X X}

$\mathbf{r}_{XX}$

X

$X$

\begin{aligned} σ^{2} {\hat{β}} & = σ^{2} (X^{*^{'}} X^{*})^{- 1} \\ = σ^{2} [\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & r_{X X}^{- 1} . \end{matrix}] \end{aligned}

$\begin{align*} \sigma^2\{\hat{\beta}\} & = \sigma^2 (\mathbf{X^{*'}X^*})^{-1}\\ & = \sigma^2 \begin{bmatrix} \frac{1}{n} & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}^{-1}_{XX}. \end{bmatrix}\\ \end{align*}$

V I F_{k}

$VIF_k$

k = 1, 2, \dots, p - 1

$k=1,2,\ldots,p-1$

k

$k$

r_{X X}^{- 1}

$\mathbf{r}^{-1}_{XX}$

k = 1

$k = 1$

r_{X X}

$r_{XX}$

k

$k$ . Vamos definir: Observe que ambas as matrizes são diferentes das matrizes de design. Como nos preocupamos apenas com os coeficientes das variáveis , o vetor de uma matriz de design pode ser ignorado em nosso cálculo. Portanto, usando o complemento de Schur ,

\begin{aligned} X_{(- 1)} = [\begin{matrix} X_{12} & \dots & X_{1, p - 1} \\ X_{22} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ \\ X_{n 2} & \dots & X_{n, p - 1} \end{matrix}], X_{1} = [\begin{matrix} X_{11} \\ X_{21} \\ ⋮ \\ X_{n 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X}_{(-1)} = \begin{bmatrix} X_{12}&\ldots&X_{1,p-1} \\X_{22}&\ldots&X_{2,p-1}\\ \vdots & \vdots & \vdots \\ X_{n2}&\ldots&X_{n,p-1} \\ \end{bmatrix}, \mathbf{X}_1 = \begin{bmatrix} X_{11} \\ X_{21} \\ \vdots \\ X_{n1} \\ \end{bmatrix}. \end{align*}$

X

$X$

1

$1$

\begin{aligned} r_{X X}^{- 1} (1, 1) & = (r_{11} - r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1})^{- 1} \\ = (r_{11} - [r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1}] r_{X_{(- 1)} X_{(- 1)}} [r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1}])^{- 1} \\ = (1 - β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}})^{- 1}, \end{aligned}

$\begin{align*} r^{-1}_{XX} (1,1) & = (r_{11} - r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1})^{-1} \\ & = (r_{11} - [r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}}] r_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} [r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1}])^{-1} \\ & = (1-\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}} )^{-1}, \end{align*}$ que são os coeficientes de regressão de em exceto a interceptação. De fato, a interceptação deve ser a origem, já que todos os

β_{1 X_{(- 1)}}

$\beta_{1\mathbf{X}_{(-1)}}$

X_{1}

$X_1$

X_{2}, \dots, X_{p - 1}

$X_2, \ldots, X_{p-1}$

X

$X$ variáveis são padronizadas com média zero. Por outro lado, (seria mais fácil escrever tudo em forma de matriz explícita) Portanto,

\begin{aligned} R_{1}^{2} & = \frac{S S R}{S S T O} = \frac{β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}}}{1} \\ = β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}} . \end{aligned}

$\begin{align*} R_1^2 & = \frac{SSR}{SSTO} = \frac{\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}}{1} \\ & = \beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}. \end{align*}$

\begin{aligned} V I F_{1} = r_{X X}^{- 1} (1, 1) = \frac{1}{1 - R_{1}^{2}} . \end{aligned}

$\begin{align*} VIF_1 = r^{-1}_{XX} (1,1) = \frac{1}{1-R_1^2}. \end{align*}$

— jwyao
fonte