Prova de que a estatística F segue a distribuição F

À luz desta pergunta: Prova de que os coeficientes em um modelo OLS seguem uma distribuição t com (nk) graus de liberdade

Eu adoraria entender por que

F = \frac{(TSS - RSS) / (p - 1)}{RSS / (n - p)},

$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)},$

onde é o número de parâmetros de modelo e o número de observações e da variância total, a variância residual, segue um distribuição. $p$ $n$ $TSS$ $RSS$ $F_{p-1,n-p}$

Devo admitir que nem tentei provar isso, pois não sabia por onde começar.

— user1627466
fonte

Christoph Hanck e Francis já deram uma resposta muito boa. Se você ainda tiver dificuldades em entender a prova do teste f para regressão linear, tente fazer check-out em teamdable.github.io/techblog/… . Eu escrevi o post do blog sobre a prova do menor para regressão linear. Está escrito em coreano, mas pode não ser um problema, porque quase tudo é fórmula matemática. Espero que ajude se você ainda tiver dificuldades em entender a prova do teste f para regressão linear.

— Taeho Oh

Embora esse link possa responder à pergunta, é melhor incluir aqui as partes essenciais da resposta e fornecer o link para referência. As respostas somente para links podem se tornar inválidas se a página vinculada for alterada. - Da avaliação

— mkt - Reinstate Monica

Respostas:

Vamos mostrar o resultado para o caso geral em que sua fórmula para a estatística de teste é um caso especial. Em geral, precisamos verificar se a estatística pode ser, de acordo com a caracterização da distribuição $F$ , ser escrita como a razão de independentes, divididos por seus graus de liberdade. $\chi^2$

Deixe com e conhecidos, não aleatórios e tenha a classificação completa da coluna . Isso representa restrições lineares para (ao contrário da notação OP) regressores, incluindo o termo constante. Portanto, no exemplo de @ user1627466, corresponde às restrições de definir todos os coeficientes de inclinação para zero. $H_{0}:R^\prime\beta=r$ $R$ $r$ $R:k\times q$ $q$ $q$ $k$ $p-1$ $q=k-1$

Em vista de , temos para que (com sendo uma "raiz quadrada da matriz" de , via, por exemplo, um Decomposição de Cholesky) como $Var\bigl(\hat{\beta}_{\text{ols}}\bigr)=\sigma^2(X'X)^{-1}$

\begin{array}{rcl} R^{'} ({\hat{β}}_{ols} - β) \sim N (0, σ^{2} R^{'} (X^{'} X)^{- 1} R), \end{array}

$\begin{eqnarray*} R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N\left(0,\sigma^{2}R^\prime(X^\prime X)^{-1} R\right), \end{eqnarray*}$

B^{- 1 / 2} = {R^{'} (X^{'} X)^{- 1} R}^{- 1 / 2}

$B^{-1/2}=\{R^\prime(X^\prime X)^{-1} R\}^{-1/2}$

B^{- 1} = {R^{'} (X^{'} X)^{- 1} R}^{- 1}

$B^{-1}=\{R^\prime(X^\prime X)^{-1} R\}^{-1}$

\begin{array}{rcl} n := \frac{B^{- 1 / 2}}{σ} R^{'} ({\hat{β}}_{ols} - β) \sim N (0, I_{q}), \end{array}

$\begin{eqnarray*} n:=\frac{B^{-1/2}}{\sigma}R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N(0,I_{q}), \end{eqnarray*}$

\begin{array}{rcl} V a r (n) & = & \frac{B^{- 1 / 2}}{σ} R^{'} V a r ({\hat{β}}_{ols}) R \frac{B^{- 1 / 2}}{σ} \\ = & \frac{B^{- 1 / 2}}{σ} σ^{2} B \frac{B^{- 1 / 2}}{σ} = I \end{array}

$\begin{eqnarray*} Var(n)&=&\frac{B^{-1/2}}{\sigma}R^\prime Var\bigl(\hat{\beta}_{\text{ols}}\bigr)R\frac{B^{-1/2}}{\sigma}\\ &=&\frac{B^{-1/2}}{\sigma}\sigma^2B\frac{B^{-1/2}}{\sigma}=I \end{eqnarray*}$ que a segunda linha usa a variação do OLSE.

Isso, como mostrado na resposta à qual você vincula (veja também aqui ), é independente de onde é a estimativa de variação de erro imparcial usual, com é a "matriz fabricante residual" de regressão em .

d := (n - k) \frac{{\hat{σ}}^{2}}{σ^{2}} \sim χ_{n - k}^{2},

$d:=(n-k)\frac{\hat{\sigma}^{2}}{\sigma^{2}}\sim\chi^{2}_{n-k},$

{\hat{σ}}^{2} = y^{'} M_{X} y / (n - k)

$\hat{\sigma}^{2}=y'M_Xy/(n-k)$

M_{X} = I - X (X^{'} X)^{- 1} X^{'}

$M_{X}=I-X(X'X)^{-1}X'$

X

$X$

Portanto, como é uma forma quadrática em normais, Em particular, em , isso se reduz à estatística $n'n$

\begin{array}{rcl} \frac{\overset{\sim χ_{q}^{2}}{\overset{⏞}{n^{'} n}} / q}{d / (n - k)} = \frac{({\hat{β}}_{ols} - β)^{'} R {R^{'} (X^{'} X)^{- 1} R}^{- 1} R^{'} ({\hat{β}}_{ols} - β) / q}{{\hat{σ}}^{2}} \sim F_{q, n - k} . \end{array}

$\begin{eqnarray*} \frac{\overbrace{n^\prime n}^{\sim\chi^{2}_{q}}/q}{d/(n-k)}=\frac{(\hat{\beta}_{\text{ols}}-\beta)^\prime R\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}R^\prime(\hat{\beta}_{\text{ols}}-\beta)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray*}$

H_{0} : R^{'} β = r

$H_{0}:R^\prime\beta=r$

\begin{array}{rcl} F = \frac{(R^{'} {\hat{β}}_{ols} - r)^{'} {R^{'} (X^{'} X)^{- 1} R}^{- 1} (R^{'} {\hat{β}}_{ols} - r) / q}{{\hat{σ}}^{2}} \sim F_{q, n - k} . \end{array}

$\begin{eqnarray} F=\frac{(R^\prime\hat{\beta}_{\text{ols}}-r)^\prime\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}(R^\prime\hat{\beta}_{\text{ols}}-r)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray}$

Para ilustração, considere o caso especial , , , e . Então, a distância euclidiana quadrada do OLS estimar a partir da origem padronizada pelo número de elementos - destacando que, como são normais padrão ao quadrado e, portanto, , a distribuição pode ser vista como uma distribuição "média . $R^\prime=I$ $r=0$ $q=2$ $\hat{\sigma}^{2}=1$ $X^\prime X=I$

\begin{array}{rcl} F = {\hat{β}}_{ols}^{'} {\hat{β}}_{ols} / 2 = \frac{{\hat{β}}_{ols, 1}^{2} + {\hat{β}}_{ols, 2}^{2}}{2}, \end{array}

$\begin{eqnarray} F=\hat{\beta}_{\text{ols}}^\prime\hat{\beta}_{\text{ols}}/2=\frac{\hat{\beta}_{\text{ols},1}^2+\hat{\beta}_{\text{ols},2}^2}{2}, \end{eqnarray}$

{\hat{β}}_{ols, 2}^{2}

$\hat{\beta}_{\text{ols},2}^2$

χ_{1}^{2}

$\chi^2_1$

F

$F$

χ^{2}

$\chi^2$

Caso você prefira uma pequena simulação (que obviamente não é uma prova!), Na qual o nulo é testado e que nenhum dos regressores é importante - o que realmente não importa, para simularmos a distribuição nula. $k$

Vemos uma concordância muito boa entre a densidade teórica e o histograma das estatísticas dos testes de Monte Carlo.

library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1) 
# for the null that none of the slope regrssors matter

Fstat <- rep(NA,reps)
for (i in 1:reps){
  y <- rnorm(n)
  X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
  reg <- lm(y~X)
  Fstat[i] <- waldtest(reg, test="F")$F[2] 
}

mean(Fstat>critical.value) # very close to 0.05

hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")

Para ver que as versões das estatísticas de teste na pergunta ea resposta são realmente equivalente, nota que os corresponde nulos às restrições e . $R'=[0\;\;I]$ $r=0$

Seja particionado de acordo com o qual os coeficientes são restritos a zero sob o nulo (no seu caso, todos, exceto a constante, mas a derivação a seguir é geral). Além disso, deixe é a estimativa OLS adequadamente particionada. $X=[X_1\;\;X_2]$ $\hat{\beta}_{\text{ols}}=(\hat{\beta}_{\text{ols},1}^\prime,\hat{\beta}_{\text{ols},2}')'$

Então, e o bloco inferior direito de Agora, use os resultados para inversos particionados para obter que .

R^{'} {\hat{β}}_{ols} = {\hat{β}}_{ols, 2}

$R'\hat{\beta}_{\text{ols}}=\hat{\beta}_{\text{ols},2}$

R^{'} (X^{'} X)^{- 1} R \equiv \tilde{D},

$R^\prime(X^\prime X)^{-1}R\equiv\tilde D,$

\begin{aligned} (X^{T} X)^{- 1} & = {(\begin{array}{cc} X_{1}^{'} X_{1} & X_{1}^{'} X_{2} \\ X_{2}^{'} X_{1} & X_{2}^{'} X_{2} \end{array})}^{- 1} \\ \equiv (\begin{array}{cc} \tilde{A} & \tilde{B} \\ \tilde{C} & \tilde{D} \end{array}) \end{aligned}

$\begin{align*} (X^TX)^{-1}&=\left( \begin{array} {c,c} X_1'X_1&X_1'X_2 \\ X_2'X_1&X_2'X_2\end{array} \right)^{-1}\\&\equiv\left( \begin{array} {c,c} \tilde A&\tilde B \\ \tilde C&\tilde D\end{array} \right) \end{align*}$

\tilde{D} = (X_{2}^{'} X_{2} - X_{2}^{'} X_{1} (X_{1}^{'} X_{1})^{- 1} X_{1}^{'} X_{2})^{- 1} = (X_{2}^{'} M_{X_{1}} X_{2})^{- 1}

$\tilde D=(X_2'X_2-X_2'X_1(X_1'X_1)^{-1}X_1'X_2)^{-1}=(X_2'M_{X_1}X_2)^{-1}$

M_{X_{1}} = I - X_{1} (X_{1}^{'} X_{1})^{- 1} X_{1}^{'}

$M_{X_1}=I-X_1(X_1'X_1)^{-1}X_1'$

Assim, o numerador da estatística se torna (sem a divisão por ) Em seguida, lembre-se de que pelo teorema de Frisch-Waugh-Lovell podemos escrever para que $F$ $q$

F_{n u m} = {\hat{β}}_{ols, 2}^{'} (X_{2}^{'} M_{X_{1}} X_{2}) {\hat{β}}_{ols, 2}

$F_{num}=\hat{\beta}_{\text{ols},2}'(X_2'M_{X_1}X_2)\hat{\beta}_{\text{ols},2}$

{\hat{β}}_{ols, 2} = (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} y

$\hat{\beta}_{\text{ols},2}=(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y$

\begin{aligned} F_{n u m} & = y^{'} M_{X_{1}} X_{2} (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} (X_{2}^{'} M_{X_{1}} X_{2}) (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} y \\ = y^{'} M_{X_{1}} X_{2} (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} y \end{aligned}

$\begin{align*} F_{num}&=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}(X_2'M_{X_1}X_2)(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y\\ &=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{align*}$

Resta mostrar que esse numerador é idêntico a , a diferença na soma irrestrita e restrita dos resíduos quadrados. $\text{USSR}-\text{RSSR}$

Aqui, é a soma residual dos quadrados da regressão de em , ou seja, com imposto. No seu caso especial, isso é apenas , os resíduos de uma regressão em uma constante.

RSSR = y^{'} M_{X_{1}} y

$\text{RSSR}=y'M_{X_1}y$

y

$y$

X_{1}

$X_1$

H_{0}

$H_0$

T S S = \sum_{i} (y_{i} - \bar{y})^{2}

$TSS=\sum_i(y_i-\bar y)^2$

Novamente, usando FWL (que também mostra que os resíduos das duas abordagens são idênticos), podemos escrever (SSR em sua notação) como SSR da regressão $\text{USSR}$

M_{X_{1}} y on M_{X_{1}} X_{2}

$M_{X_1}y\quad\text{on}\quad M_{X_1}X_2$

Ou seja,

\begin{array}{rcl} USSR & = & y^{'} M_{X_{1}}^{'} M_{M_{X_{1}} X_{2}} M_{X_{1}} y \\ = & y^{'} M_{X_{1}}^{'} (I - P_{M_{X_{1}} X_{2}}) M_{X_{1}} y \\ = & y^{'} M_{X_{1}} y - y^{'} M_{X_{1}} M_{X_{1}} X_{2} ((M_{X_{1}} X_{2})^{'} M_{X_{1}} X_{2})^{- 1} (M_{X_{1}} X_{2})^{'} M_{X_{1}} y \\ = & y^{'} M_{X_{1}} y - y^{'} M_{X_{1}} X_{2} (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} y \end{array}

$\begin{eqnarray*} \text{USSR}&=&y'M_{X_1}'M_{M_{X_1}X_2}M_{X_1}y\\ &=&y'M_{X_1}'(I-P_{M_{X_1}X_2})M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}M_{X_1}X_2((M_{X_1}X_2)'M_{X_1}X_2)^{-1}(M_{X_1}X_2)'M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$

Portanto,

\begin{array}{rcl} RSSR - USSR & = & y^{'} M_{X_{1}} y - (y^{'} M_{X_{1}} y - y^{'} M_{X_{1}} X_{2} (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} y) \\ = & y^{'} M_{X_{1}} X_{2} (X_{2}^{'} M_{X_{1}} X_{2})^{- 1} X_{2}^{'} M_{X_{1}} y \end{array}

$\begin{eqnarray*} \text{RSSR}-\text{USSR}&=&y'M_{X_1}y-(y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y)\\ &=&y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$

— Christoph Hanck
fonte

Obrigado. Não sei se é considerado segurar a mão neste momento, mas como você passa da soma dos betas ao quadrado para uma expressão que contém soma dos quadrados?

— precisa saber é o seguinte

@ user1627466, adicionei uma derivação da equivalência das duas fórmulas.

— Christoph Hanck

O @ChristophHanck forneceu uma resposta muito abrangente, aqui vou adicionar um esboço de prova no caso especial do OP mencionado. Espero que também seja mais fácil seguir para iniciantes.

Uma variável aleatória se que e são independentes. Assim, para mostrar que o -statistic tem -Distribuição, nós podemos também mostrar que e para algumas constantes , e que elas são independentes. $Y\sim F_{d_1,d_2}$

Y = \frac{X_{1} / d_{1}}{X_{2} / d_{2}},

$Y=\frac{X_1/d_1}{X_2/d_2},$

X_{1} \sim χ_{d_{1}}^{2}

$X_1\sim\chi^2_{d_1}$

X_{2} \sim χ_{d_{2}}^{2}

$X_2\sim\chi^2_{d_2}$

F

$F$

F

$F$

c ESS \sim χ_{p - 1}^{2}

$c\text{ESS}\sim\chi^2_{p-1}$

c RSS \sim χ_{n - p}^{2}

$c\text{RSS}\sim\chi^2_{n-p}$

c

$c$

No modelo OLS, escrevemos onde é uma matriz , e idealmente . Por conveniência, apresentamos a matriz de chapéu (note ), e o fabricante residual . As propriedades importantes de e são que são simétricas e idempotentes. Além disso, temos e , estes virá a calhar mais tarde.

y = X β + ε,

$y=X\beta+\varepsilon,$

X

$X$

n \times p

$n\times p$

ε \sim N_{n} (0, σ^{2} I)

$\varepsilon\sim N_n(\mathbf{0}, \sigma^2I)$

H = X (X^{T} X)^{- 1} X^{T}

$H=X(X^TX)^{-1}X^{T}$

\hat{y} = H y

$\hat{y}=Hy$

M = I - H

$M=I-H$

H

$H$

M

$M$

tr (H) = p

$\operatorname{tr}(H)=p$

H X = X

$HX=X$

Vamos denotar a matriz de todos como , a soma dos quadrados pode ser expressa com formas quadráticas:Note-se que . Pode-se verificar que é idempotente e . Resulta deste , em seguida, que também é idempotente e . $J$

TSS = y^{T} (I - \frac{1}{n} J) y, RSS = y^{T} M y, ESS = y^{T} (H - \frac{1}{n} J) y .

$\text{TSS}=y^T\left(I-\frac{1}{n}J\right)y,\quad\text{RSS}=y^TMy,\quad\text{ESS}=y^T\left(H-\frac{1}{n}J\right)y.$

M + (H - J / n) + J / n = I

$M+(H-J/n)+J/n=I$

J / n

$J/n$

rank (M) + rank (H - J / n) + rank (J / n) = n

$\operatorname{rank}(M)+\operatorname{rank}(H-J/n)+\operatorname{rank}(J/n)=n$

H - J / n

$H-J/n$

M (H - J / n) = 0

$M(H-J/n)=0$

Podemos agora estabelecido para mostrar que -statistic tem -Distribuição (procurar o teorema de Cochran para mais). Aqui precisamos de dois fatos: $F$ $F$

Seja . Suponha é simétrica com classificação e é idempotente, então , isto é, não central com gl e não central . Este é um caso especial do resultado de Baldessari , uma prova também pode ser encontrada aqui . $x\sim N_n(\mu,\Sigma)$ $A$ $r$ $A\Sigma$ $x^TAx\sim\chi^2_r(\mu^TA\mu/2)$ $\chi^2$ $r$ $\mu^TA\mu/2$
Seja . Se , então e são independentes. Isso é conhecido como teorema de Craig . $x\sim N_n(\mu,\Sigma)$ $A\Sigma B=0$ $x^TAx$ $x^TBx$

Como , temosNo entanto, sob hipótese nula , realmente . Por outro lado, nota que desde . Portanto, . Como , e também são independentes. Segue imediatamente então $y\sim N_n(X\beta,\sigma^2I)$

\frac{ESS}{σ^{2}} = {(\frac{y}{σ})}^{T} (H - \frac{1}{n} J) \frac{y}{σ} \sim χ_{p - 1}^{2} ((X β)^{T} (H - \frac{J}{n}) X β) .

$\frac{\text{ESS}}{\sigma^2}=\left(\frac{y}{\sigma}\right)^T\left(H-\frac{1}{n}J\right)\frac{y}{\sigma}\sim\chi^2_{p-1}\left((X\beta)^T\left(H-\frac{J}{n}\right)X\beta\right).$

β = 0

$\beta=\mathbf{0}$

ESS / σ^{2} \sim χ_{p - 1}^{2}

$\text{ESS}/\sigma^2\sim\chi^2_{p-1}$

y^{T} M y = ε^{T} M ε

$y^TMy=\varepsilon^TM\varepsilon$

H X = X

$HX=X$

RSS / σ^{2} \sim χ_{n - p}^{2}

$\text{RSS}/\sigma^2\sim\chi^2_{n-p}$

M (H - J / n) = 0

$M(H-J/n)=0$

ESS / σ^{2}

$\text{ESS}/\sigma^2$

RSS / σ^{2}

$\text{RSS}/\sigma^2$

F = \frac{(TSS - RSS) / (p - 1)}{RSS / (n - p)} = \frac{\frac{ESS}{σ^{2}} / (p - 1)}{\frac{RSS}{σ^{2}} / (n - p)} \sim F_{p - 1, n - p} .

$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}=\frac{\dfrac{\text{ESS}}{\sigma^2}/(p-1)}{\dfrac{\text{RSS}}{\sigma^2}/(n-p)}\sim F_{p-1,n-p}.$

— Francis
fonte