Testes estatísticos comuns como modelos lineares

(ATUALIZAÇÃO: Eu mergulhei mais fundo nisso e publiquei os resultados aqui )

A lista de testes estatísticos nomeados é enorme. Muitos dos testes comuns se baseiam na inferência de modelos lineares simples, por exemplo, um teste t de uma amostra é apenas y = β + ε que é testado com relação ao modelo nulo y = μ + ε ou seja, que β = μ onde μ é nulo valor - tipicamente μ = 0.

Acho que isso é um pouco mais instrutivo para fins de ensino do que o modelo de aprendizagem mecânica nomeada, quando usá-los e suas suposições como se não tivessem nada a ver um com o outro. Essa abordagem promove não promove a compreensão. No entanto, não consigo encontrar um bom recurso para coletar isso. Estou mais interessado em equivalências entre os modelos subjacentes do que no método de inferência deles. Embora, até onde eu possa ver, os testes de razão de verossimilhança em todos esses modelos lineares produzam os mesmos resultados que a inferência "clássica".

Aqui estão as equivalências que eu aprendi até agora, ignorando o termo de erro $\varepsilon \sim \mathcal N(0, \sigma^2)$ e assumindo que todas as hipóteses nulas são a ausência de um efeito:

Teste t de uma amostra: $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$.

Teste t de amostra pareada: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Isso é idêntico ao teste t de uma amostra nas diferenças entre pares.

Teste t de duas amostras: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

onde x é um indicador (0 ou 1).

Correlação de Pearson: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Observe a semelhança com um teste t de duas amostras que é apenas regressão em um eixo x binário.

Correlação de Spearman: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Isso é idêntico a uma correlação de Pearson em x e y transformados em rank.

ANOVA unidirecional: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

onde $x_i$ são indicadores que selecionam o$\beta$ relevante(um$x$ é 1; os outros são 0). O modelo poderia provavelmente ser escrito na forma de matriz como como$Y = \beta * X$ .

ANOVA bidirecional: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

por dois fatores de dois níveis. Aqui $\beta_i$ são vectores de betas onde um é seleccionado pelo indicador de vector $X_i$ . O $\mathcal{H}_0$ mostrado aqui é o efeito de interação.

Poderíamos adicionar mais "testes nomeados" a esta lista de modelos lineares? Por exemplo, regressão multivariada, outros testes "não paramétricos", testes binomiais ou RM-ANOVAs?

ATUALIZAÇÃO: perguntas foram feitas e respondidas sobre ANOVA e testes t como modelos lineares aqui no SO. Veja esta pergunta e marque perguntas relacionadas .

Não é uma lista exaustiva, mas se você incluir modelos lineares generalizados , o escopo desse problema se tornará substancialmente maior.

Por exemplo:

$p \times k$

Além disso, o teste t para variações desiguais é bem aproximado usando a estimativa de erro robusta de Huber White.