Por que uma distribuição T usada para testar hipóteses é um coeficiente de regressão linear?

16

Na prática, o uso de um teste T padrão para verificar a significância de um coeficiente de regressão linear é prática comum. A mecânica do cálculo faz sentido para mim.

Por que a distribuição T pode ser usada para modelar a estatística de teste padrão usada no teste de hipótese de regressão linear? Estatística de teste padrão a que me refiro aqui:

T_{0} = \frac{\hat{β} - β_{0}}{S E (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— Nate Parke
fonte

Uma resposta completa e completa a esta pergunta será bastante longa, tenho certeza. Portanto, enquanto você espera que alguém resolva isso, você pode ter uma boa idéia de por que esse é o caso, observando algumas notas que encontrei on-line aqui: onlinecourses.science.psu.edu/stat501/node/297 . Observe especificamente que

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$ .

— StatsStudent

11

Eu não posso acreditar que isso não é uma duplicata e, no entanto, todos os votos positivos (tanto na pergunta quanto nas respostas) ... E quanto a isso ? Ou talvez não seja uma duplicata, o que significa que existem (ou até hoje) tópicos super-básicos ainda que não foram abordados nos quase sete anos de existência do Cross Validated ... Uau ...

— Richard Hardy

@RichardHardy Hmm, isso soa como uma duplicata. Embora seja mais detalhado, a questão é especificamente: "Como eu posso provar que para , $\hat\beta_i$ " $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— Firebug

25

Para entender por que usamos a distribuição t, você precisa saber o que é a distribuição subjacente de e da soma dos quadrados dos resíduos ( ) uma vez que estes dois juntos put lhe dará a distribuição t. $\widehat{\beta}$ $RSS$

A parte mais fácil é a distribuição de que é uma distribuição normal - para ver esta nota que = por isso é uma função linear de onde . Como resultado, é também normalmente $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ $Y\sim N(X\beta, \sigma^{2}I_{n})$ - deixe-me saber se você precisar de ajuda derivando a distribuição de . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

Além disso, , onde é o número de observações e é o número de parâmetros utilizados na sua regressão. A prova disso é um pouco mais envolvente, mas também é fácil de obter (veja a prova aqui Por que o RSS é distribuído chi square times np? ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

Até este ponto eu considerei tudo na matriz / vetor notação, mas vamos para uso simplicidade e usar sua distribuição normal, que nos $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

Além disso, a partir da distribuição qui-quadrado de , temos que: $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

Isso foi simplesmente um rearranjo da primeira expressão qui-quadrado e é independente do . Além disso, definimos $N(0,1)$ , que é um estimador imparcial para. Pela definição da definiçãoque divide uma distribuição normal por um qui-quadrado independente (sobre seus graus de liberdade) fornece uma distribuição t (para a prova, consulte:Uma normal dividida pela $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ fornece uma prova de distribuição t $\sqrt{\chi^2(s)/s}$ ), você obtém o seguinte:

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

Onde . $s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Deixe-me saber se faz sentido.

— francium87d
fonte

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$ ?

— KingDingeling

4

The answer is actually very simple: you use t-distribution because it was pretty much designed specifically for this purpose.

Ok, the nuance here is that it wasn't designed specifically for the linear regression. Gosset came up with distribution of sample that was drawn from the population. For instance, you draw a sample $x_1,x_2,\dots,x_n$ , and calculate its mean $\bar x=\sum_{i=1}^n x_i/n$ . What is the distribution of a sample mean $\bar x$ ?

If you knew the true (population) standard deviation $\sigma$ , then you'd say that the variable $\xi=(\bar x-\mu)\sqrt n/\sigma$ is from the standard normal distribution $\mathcal N(0,1)$ . The trouble's that you usually do not know $\sigma$ , and can only estimate it $\hat\sigma$ . So, Gosset figured out the distribution when you substitute $\sigma$ with $\hat\sigma$ in the denominator, and the distribution is now called after his pseduonym "Student t".

The technicalities of linear regression lead to a situation where we can estimate the standard error $\hat\sigma_\beta$ of the coefficient estimate $\hat\beta$ , but we do not know the true $\sigma$ , therefore Student t distribution is applied here too.

— Aksakal
fonte