Por que o GLM é diferente de um LM com variável transformada

16

Conforme explicado neste folheto do curso (página 1) , um modelo linear pode ser escrito no formato:

y = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

onde $y$ é a variável de resposta e $x_{i}$ é o $i^{th}$ variável de motivos.

Freqüentemente, com o objetivo de atender às premissas de teste, é possível transformar a variável de resposta. Por exemplo, aplicamos a função log em cada $y_i$ . Transformar uma variável de resposta NÃO equivale a fazer um GLM.

Um GLM pode ser escrito da seguinte forma (a partir do folheto do curso novamente (página 3) )

g (u) = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$g(u) = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

onde $u$ é apenas outro símbolo para $y$ como eu entendo na página 2 do folheto do curso. $g()$ é chamada de função de link.

Eu realmente não entendo a diferença entre um GLM e LM com variável transformada dos slides do curso. Você pode me ajudar com isso?

— Remi.b
fonte

2

Você pode achar esclarecedor considerar o fato de que todas as transformações de um resultado binário são afins, o que limitaria você à regressão de mínimos quadrados comuns. Obviamente, não é isso que a regressão logística (um GLM padrão para respostas binárias) está realizando. (Prova: deixe que os valores de resultado sejam codificados como

e

seja qualquer transformação. Escrevendo

e

achamos que

concorda com

y_{0}

$y_0$

y_{1}

$y_1$

ϕ

$\phi$

z_{0} = ϕ (y_{0})

$z_0=\phi(y_0)$

z_{1} = ϕ (y_{1})

$z_1=\phi(y_1)$

ϕ

$\phi$

com

(que é uma transformação afim de

) onde

e

)

{y_{0}, y_{1}}

$\{y_0,y_1\}$

y \to λ y + μ

$y\to \lambda y + \mu$

y

$y$

λ = (z_{1} - z_{0}) / (y_{1} - y_{0})

$\lambda=(z_1-z_0)/(y_1-y_0)$

μ = z_{0} - λ y_{0}

$\mu=z_0-\lambda y_0$

— whuber

15

Transformar a resposta antes de fazer uma regressão linear está fazendo o seguinte:

E (g (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$E(g(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

onde é uma função dada, e assumimos que $g$ tem uma determinada distribuição (geralmente normal). $g(Y)$

Um modelo linear generalizado está fazendo isso:

g (E (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$g(E(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

$g$ $Y$

— Hong Ooi
fonte

o que é E na sua equação?

— user1406647

11

E (X)

$E(X)$

X

$X$

Eu também achei isso útil: christoph-scherber.de/content/PDF%20Files/…

— Aditya

22

Não tenho certeza se isso constituirá uma resposta completa para você, mas pode ajudar a libertar o impasse conceitual.

Parece haver dois conceitos errados em sua conta:

Lembre-se de que a regressão de mínimos quadrados ordinários (OLS - 'linear') é um caso especial do modelo linear generalizado. Portanto, quando você diz que "[transformar] uma variável de resposta NÃO equivale a executar um GLM", isso está incorreto. Ajustar um modelo linear ou transformar a variável de resposta e, em seguida, ajustar um modelo linear constituem "fazer um GLM".
Na formulação padrão de GLMs, o que você chama de " $u$ "(geralmente representado por $\mu$ , mas isso é apenas uma questão de preferência) é a média da distribuição da resposta condicional em um local específico no espaço covariável (por exemplo, $X$ ) Assim, quando você diz "onde $u$ é apenas outro símbolo para $y$ ", isso também está incorreto. Na formulação do OLS, $Y$ é uma variável aleatória e / ou $y_i$ é um valor realizado de $Y$ para observação / unidade de estudo $i$ . Isso é, $y$ (mais genericamente) representa dados , não um parâmetro .

(Não pretendo estar enganando os erros, apenas suspeito que isso possa estar causando sua confusão.)
Há também outro aspecto do modelo linear generalizado que não vejo você mencionando. Ou seja, especificamos uma distribuição de resposta. No caso da regressão OLS, a distribuição da resposta é gaussiana (normal) e a função de link é a função de identidade. No caso de, digamos, regressão logística (que pode ser o que as pessoas pensam quando pensam nos GLMs), a distribuição da resposta é o Bernoulli (/ binomial) e a função de link é o logit. Ao usar transformações para garantir que as suposições do OLS sejam atendidas, geralmente tentamos tornar a distribuição de resposta condicional aceitável normal. No entanto, nenhuma transformação tornará a distribuição de Bernoulli aceitável normal.

— - Reinstate Monica
fonte