Entendendo o teste t para regressão linear

Estou tentando descobrir como executar alguns testes de hipótese em uma regressão linear (hipótese nula sem correlação). Todo guia e página sobre o assunto em que encontro parece estar usando um teste t. Mas não entendo o que significa o teste t para regressão linear. Um teste t, a menos que eu tenha um entendimento ou modelo mental completamente errado, é usado para comparar duas populações. Mas o regressor e o regressando não são amostras de populações semelhantes e podem até não pertencer à mesma unidade, portanto, não faz sentido compará-las.

Então, ao usar um teste t em uma regressão linear, o que estamos realmente fazendo?

Você provavelmente está pensando no teste duas amostras $t$, porque esse é geralmente o primeiro local em que a distribuição $t$ aparece. Mas, na verdade, tudo que um teste $t$ significa é que a distribuição de referência para a estatística de teste é uma distribuição $t$ . Se $Z \sim \mathcal N(0,1)$ e $S^2 \sim \chi^2_d$ com $Z$ e $S^2$ independentes, então

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ por definição. Estou escrevendo isso para enfatizar que adistribuição$t$é apenas um nome que foi dado à distribuição dessa proporção porque ela aparece muito, e qualquer coisa dessa forma terá umadistribuição$t$. Para o teste t de duas amostras, essa razão aparece porque, sob o nulo, a diferença de médias é um Gaussiano com média zero e a estimativa de variância para Gaussianos independentes é um$\chi^2$independente (a independência pode ser mostrada peloteorema de Basu que usa o fato de que a estimativa de variância padrão em uma amostra gaussiana é acessória à média da população, enquanto a média da amostra é completa e suficiente para a mesma quantidade).

Com a regressão linear, basicamente obtemos a mesma coisa. Na forma de . Seja S 2 j = ( X T X ) - 1 $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ e assuma que os preditoresXsão não aleatórios. Se soubéssemosσ2teríamos β j-$S^2_j = (X^T X)^{-1}_{jj}$$X$$\sigma^2$ sob o valor nulo deH0:βj

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ então teríamos um teste Z. Mas uma vez que estimar σ 2 acabamos com um χ 2 variável aleatória que, sob as nossas suposições de normalidade, acaba por ser independente da nossa estatística β j e depois temos um t de distribuição.$H_0 : \beta_j = 0$$\sigma^2$$\chi^2$$\hat \beta_j$$t$

---

Aqui estão os detalhes disso: assuma . Deixando H = X ( X T X ) - 1 X T ser a matriz do chapéu, temos " e " 2 = " ( I - H ) y " 2 = y T ( I - H ) y . H é idempotente, por isso temos o resultado muito bom que $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ com parâmetro de não centralidade δ = β T X T ( I - H ) X β = β T ( X T X - X T X ) β = 0 , então, na verdade, esse é um χ 2 centralcom n - $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$graus de liberdade (este é um caso especial do teorema de Cochran ). Estou usando para denotar o número de colunas de X , portanto, se uma coluna de X fornecer a interceptação, teríamos p - 1 preditores de não interceptação. Alguns autores usam p para ser o número de preditores de não interceptação; portanto, às vezes você pode ver algo como n - p - 1 nos graus de liberdade, mas é tudo a mesma coisa.$p$$X$$X$$p-1$$p$$n-p-1$

$E(e^Te / \sigma^2) = n-p$$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

$Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

$C = {A \choose B}$$(l+m)\times k$$A$$B$

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$ is a multivariate Gaussian and it is a well-known result that two components of a multivariate Gaussian are independent if and only if they are uncorrelated, so the condition $A\Sigma B^T = 0$ turns out to be exactly equivalent to the components $AZ$ and $BZ$ in $CZ$ being uncorrelated.

$\square$

@Chaconne's answer is great. But here is a much shorter nonmathematical version!

Since the goal is to compute a P value, you first need to define a null hypothesis. Almost always, that is that the slope is actually horizontal so the numerical value for the slope (beta) is 0.0.

The slope fit from your data is not 0.0. Is that discrepancy due to random chance or due to the null hypothesis being wrong? You can't ever answer that for sure, but a P value is one way to sort-of-kind-of get at an answer.

The regression program reports a standard error of the slope. Compute the t ratio as the slope divided by its standard error. Actually, it is (slope minus null hypothesis slope) divided by the standard error, but the null hypothesis slope is nearly always zero.

Now you have a t ratio. The number of degrees of freedom (df) equals the number of data points minus the number of parameters fit by the regression (two for linear regression).

With those values (t and df) you can determine the P value with an online calculator or table.

It is essentially a one-sample t-test, comparing an observed computed value (the slope) with a hypothetical value (the null hypothesis).