Como a regressão, o teste t e a ANOVA são todas as versões do modelo linear geral?

49

Como são todas as versões do mesmo método estatístico básico?

— Amahabirsingh
fonte

relacionados: Por que a ANOVA é ensinada / usada como se fosse uma metodologia de pesquisa diferente em comparação à regressão linear?

— Haitao Du

relacionado: R: Anova e regressão linear

— Haitao Du

relacionados: Por que ANOVA é equivalente a regressão linear?

— Haitao Du

47

Considere que todos eles podem ser escritos como uma equação de regressão (talvez com interpretações ligeiramente diferentes das formas tradicionais).

Regressão:

Y = β_{0 0} + β_{1 1} X_{(contínuo)} + ε Onde ε \sim N (0 0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(continuous)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

teste t:

Y = β_{0 0} + β_{1 1} X_{(código fictício)} + ε Onde ε \sim N (0 0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

ANOVA:

Y = β_{0 0} + β_{1 1} X_{(código fictício)} + ε Onde ε \sim N (0 0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

A regressão prototípica é conceituada com como uma variável contínua. No entanto, a única suposição que é realmente feita sobre é que ele é um vetor de constantes conhecidas. Pode ser uma variável contínua, mas também pode ser um código fictício (ou seja, um vetor de e que indica se uma observação é membro de um grupo indicado - por exemplo, um grupo de tratamento). Assim, na segunda equação, poderia ser um código fictício, e o valor p seria o mesmo de um teste t em sua forma mais tradicional. $X$ $X$ $0$ $1$ $X$

O significado dos betas seria diferente aqui, no entanto. Nesse caso, seria a média do grupo controle (para o qual as entradas na variável dummy seriam ') e seria a diferença entre a média do grupo de tratamento e a média do controle grupo. $\beta_0$ $0$ $\beta_1$

Agora, lembre-se de que é perfeitamente razoável ter / executar uma ANOVA com apenas dois grupos (embora um teste t seja mais comum), e você tem todos os três conectados. Se você prefere ver como isso funcionaria se você tivesse uma ANOVA com 3 grupos; seria: Observe que quando você temgrupos , você temcódigos fictícios para representá-los. O grupo de referência (normalmente o grupo de controle) é indicado com paratodos oscódigos fictícios (nesse caso, tanto o código fictício 1 quanto o código fictício 2). Nesse caso, você não gostaria de interpretar os valores p dos testes t para esses betas que vêm com saída estatística padrão - eles indicam apenas se o grupo indicado difere do grupo controlequando avaliado isoladamente.

Y = β_{0 0} + β_{1 1} X_{(código fictício 1)} + β_{2} X_{(código fictício 2)} + ε Onde ε \sim N (0 0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code 1)}} + \beta_2X_{\text{(dummy code 2)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

g

$g$

g - 1

$g-1$

0

$0$ . Ou seja, esses testes não são independentes. Em vez disso, você gostaria de avaliar se as médias do grupo variam ao construir uma tabela ANOVA e realizar um teste-F. Pelo que vale, os betas são interpretados da mesma forma que na versão do teste t descrita acima:

é a média do grupo controle / referência,

indica a diferença entre as médias do grupo 1 e o grupo de referência e

indica a diferença entre o grupo 2 e o grupo de referência.

β_{0}

$\beta_0$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

À luz dos comentários do @ whuber abaixo, eles também podem ser representados através de equações da matriz:
Representados dessa maneira, & são vetores de comprimento e é um vetor de comprimento . agora é uma matriz com linhas e colunas. Em uma regressão prototípica, você tem variáveis contínuas e a interceptação. Assim, seu

Y = X β + ε

$\bf Y=\bf X\boldsymbol\beta + \boldsymbol\varepsilon$

Y

$\bf Y$

ε

$\boldsymbol\varepsilon$

N

$N$

β

$\boldsymbol\beta$

p + 1

$p+1$

X

$\bf X$

N

$N$

(p + 1)

$(p+1)$

p

$p$

X

$X$

X

$\bf X$ matriz é composto de uma série de vectores de coluna lado a lado, um em cada

variável, com uma coluna de

's na extremidade esquerda para a intercepção.

X

$X$

1

$1$

Se você estiver representando uma ANOVA com grupos dessa maneira, lembre-se de que você teria variáveis fictícias indicando os grupos, com o grupo de referência indicado por uma observação com em cada variável fictícia. Como acima, você ainda teria um intercepto. Assim, . $g$ $g-1$ $0$ $p=g-1$

— - Reinstate Monica
fonte

11

A equação ANOVA só faria sentido como ANOVA (e não como teste t) se

fosse interpretado como vetor e multiplicado à direita.

β_{1}

$\beta_1$

— whuber

Estas não são equações matriciais; Eu raramente as uso aqui, pois muitas pessoas não as lêem. A 1ª ANOVA representa uma situação idêntica à do teste t anterior. Estou apenas apontando que, se você pode executar um teste t independente de duas amostras, pode executar os mesmos dados que uma ANOVA (que muitas pessoas devem reconhecer / lembrar de suas estatísticas 101). Acrescento outra versão da ANOVA com 3 grupos mais abaixo para esclarecer que uma situação de dois grupos não é o único caso da ANOVA que pode ser entendido como uma regressão; mas a equação reg agora parece diferente - eu estava tentando manter um paralelo mais explícito acima.

— gung - Restabelece Monica

Meu ponto é que a menos que você fazer torná-lo uma equação matricial, a sua caracterização de ANOVA é muito limitada para ser útil: é idêntica à sua caracterização do t-test e assim é mais confuso do que é útil. Quando você começa a apresentar mais grupos, muda repentinamente a equação, que também pode ser menos que clara. Se você deseja usar a notação matricial, é claro que depende de você, mas no interesse de se comunicar bem, você deve se esforçar para obter consistência.

— whuber

Você pode, por favor, explicar um pouco mais sobre como você chega da definição popular do teste t para a equação que você mostrou. Basicamente, não consigo descobrir o que é Y aqui (poderia ser ingenuidade ou menos QI para estatísticas). No entanto, como chegar de t = (yx-u0) / s a esta equação.

— Gaurav Singhal 29/07

Não, embora isso possa lhe parecer estranho.

é contínuo (e considerado condicionalmente normal) em todos os casos listados. Não há suposições distributivas sobre

, ele pode ser contínuo, dicotômico ou uma variável categórica de vários níveis.

Y

$Y$

X

$X$

— gung - Restabelece Monica

16

Todos eles podem ser escritos como casos particulares do modelo linear geral.

O teste t é um caso de duas amostras de ANOVA. Se você quadrado a estatística do teste t, obtém o correspondente na ANOVA. $F$

Um modelo ANOVA é basicamente apenas um modelo de regressão em que os níveis dos fatores são representados por variáveis fictícias (ou indicadores ) .

Portanto, se o modelo para um teste t é um subconjunto do modelo ANOVA e ANOVA é um subconjunto do modelo de regressão múltipla, a própria regressão (e outras coisas além da regressão) é um subconjunto do modelo linear geral , que estende a regressão a um especificação mais geral do termo de erro do que o caso de regressão habitual (o que é 'independente' e 'igual-variância'), e para traçar o . $Y$

Aqui está um exemplo mostrando a equivalência do comum (equal-variância) dois sample- análise e um teste de hipótese em um modelo de regressão, feito em R (os olhares de dados reais para ser emparelhado, de modo que este não é realmente uma análise adequada) : $t$

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33

Observe o valor de p de 0,079 acima. Aqui está o one-way anova:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605

Agora para a regressão:

> summary(lm(extra ~ group, data = sleep))

(alguma saída removida)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

Compare o valor-p na linha 'group2' e também o valor-p para o teste F na última linha. Para um teste bicaudal, estes são os mesmos e ambos correspondem ao resultado do teste t.

Além disso, o coeficiente para o 'grupo2' representa a diferença de médias para os dois grupos.

— Glen_b
fonte

Ter os mesmos valores de p em todos os três cenários é mágico e impressionante; no entanto, se você pudesse explicar um pouco mais sobre como esses valores de p são calculados, isso definitivamente tornaria essa resposta mais interessante . Não sei se a exibição de cálculos de valor-p também o tornará mais útil , portanto é algo que você pode decidir.

— Gaurav Singhal 29/07

@ Gaurav Os valores-p são os mesmos porque você está testando a mesma hipótese no mesmo modelo, apenas representada de maneira um pouco diferente. Se você estiver interessado em como algum valor p específico é calculado, seria uma nova pergunta (não seria uma resposta para a pergunta aqui). Você é livre para fazer essa pergunta, embora tente primeiro uma pesquisa, pois ela já pode ter sido respondida.

— Glen_b

Obrigado @Glen_b, desculpe-me por fazer uma pergunta óbvia e essa também não da melhor maneira. E você ainda respondeu minha pergunta - "mesma hipótese no mesmo modelo (e / ou dados)". Não pensei suficientemente sobre como eles estão testando a mesma hipótese. Obrigado

— Gaurav Singhal

2

Esta resposta que eu postei anteriormente é um pouco relevante, mas essa pergunta é um pouco diferente.

[\begin{matrix} Y_{1 1} \\ ⋮ \\ Y_{n} \end{matrix}] = [\begin{matrix} 1 1 & x_{1 1} \\ 1 1 & x_{2} \\ 1 1 & x_{3} \\ ⋮ & ⋮ \\ 1 1 & x_{n} \end{matrix}] [\begin{matrix} α_{0 0} \\ α_{1 1} \end{matrix}] + [\begin{matrix} ε_{1 1} \\ ⋮ \\ ⋮ \\ ε_{n} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ 1 & x_3 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \alpha_1 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

[\begin{matrix} Y_{1 1} \\ ⋮ \\ Y_{n} \end{matrix}] = [\begin{matrix} 1 1 & 0 0 & 0 0 & \dots & 0 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 1 & 0 0 & 0 0 & \dots & 0 0 \\ 0 0 & 1 1 & 0 0 & \dots & 0 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 0 0 & 1 1 & 0 0 & \dots & 0 0 \\ 0 0 & 0 0 & 1 1 & \dots & 0 0 \\ ⋮ & ⋮ \\ ⋮ & ⋮ \end{matrix}] [\begin{matrix} α_{0 0} \\ ⋮ \\ α_{k} \end{matrix}] + [\begin{matrix} ε_{1 1} \\ ⋮ \\ ⋮ \\ ε_{n} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & 0 & 0 & \cdots & 0 \\ \hline 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 1 & 0 & \cdots & 0 \\ \hline 0 & 0 & 1 & \cdots & 0 \\ \vdots & & & & \vdots \\ \vdots & & & & \vdots \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \vdots \\ \alpha_k \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

— Michael Hardy
fonte

2

Alguns descrição e comentário às perguntas seria útil para os leitores desde agora eles tem que adivinhar onde eles vieram e como eles se relacionam com a questão ...

— Tim

0

Anova é semelhante a um teste t para igualdade de médias sob o pressuposto de variações desconhecidas, mas iguais entre os tratamentos. Isso ocorre porque no ANOVA MSE é idêntico à variação combinada usada no teste t. Existem outras versões do teste t, como uma para variações não iguais e o teste t em pares. Nesta visão, o teste t pode ser mais flexível.

— pemfir
fonte