Onde estão os resíduos em um GLM?

Agora, estou passando para os GLMs depois dos modelos padrão.

No modelo padrão,

y = Xb + epsilon

e epsilon é assumido como sendo normalmente distribuído. Isso significa que podemos escrever

y - Xb = epsilon

e então podemos minimizar o lhs usando alguma norma adequada, dada a suposição de normalidade.

Em um GLM, esses resíduos não são vistos em lugar algum; então, quais são as suposições residuais? Ou seja, quando você ajusta um GLM e determina os resíduos, como você verifica sua suposição de distribuição? Um qqplot? Contra o que? Os quantis normais? Ou os quantis da distribuição que você escolheu?

O GLM como eu o entendo:

mu = Xb, mu = Ey, y follows some non-Gaussian distribution.

Os resíduos específicos dependem da distribuição utilizada e das características da variável dependente. Às vezes, eles não são muito informativos e, às vezes, não podem ser computados facilmente.

A utilidade dos resíduos também varia muito na avaliação de como o modelo funciona. A regressão logística de uma variável binária é um bom exemplo. Todos os resíduos podem ser calculados, mas é difícil compreendê-los sem um resumo, como calibração e teste de Hosmer-Lemeshow. Resumos de outros tipos, por exemplo, por outra variável categórica, também podem ser úteis. Às vezes, você pode aprender comparando as probabilidades estimadas de dois modelos diferentes.

• Para regressão logística ordinal ou nominal com várias categorias, você pode calcular um conjunto de probabilidades para cada observação. Isso pode ser útil, mas é difícil de interpretar com métodos gráficos diretos ou estatísticas resumidas.

• Os resíduos para dados de sobrevivência censurados não são definidos de forma única. O tempo estimado de sobrevivência pode ser maior ou menor que o tempo de censura.

• Os resíduos para variáveis ​​dependentes altamente inclinadas, por exemplo, exponencial, binomial negativo, Poisson, etc., podem ser enganosos em exibições gráficas, pois os modelos não reduzem ou removem a assimetria. Eles deixam você com a impressão de muitos grandes outliers. Às vezes, é melhor examiná-las em uma escala transformada, como logs.

Portanto, não há resposta de propósito geral para sua pergunta. O uso de resíduos depende do modelo.

Para os resíduos gaussianos, a história é mais fácil. Infelizmente, muitas vezes descobrimos que há problemas com um modelo linear que não são resolvíveis de maneira simplista e algorítmica.

Além da resposta de @ DavidSmith, segue uma terminologia mais formal:

Modelos lineares generalizados invocam uma relação de variação média como conseqüência da função de link. Não há resíduos em um GLM porque a variação é apenas uma função da média. Então, quando escrevemos um GLM, ele tem a forma:

Onde $g$ é uma função de link, os termos $\beta X$ são os preditores lineares $\nu$ e os valores transformados $g^{-1}(\beta X)$são os valores ajustados. Em geral, o caso é que$E[Y] = g^{-1}(\beta X)$ implica $var(Y) = \frac{\partial}{\partial \beta} g^{-1}(\beta X)$. Por exemplo, com regressão logística, o link de logit inverso$g^{-1}(x) = \log(\frac{X}{1-X})$ tem $g^{ \prime -1}(X) = \log(\frac{1}{1-X}) = g^{-1}(X)(1-g^{-1}(X))$ com a segunda expressão facilmente reconhecida como a variação binomial.

Ao escrever as equações de estimativa para modelos de probabilidade comuns, como binomial, poisson ou exponencial, você realmente observa que a informação (ou variação) depende da média e nada mais. Esses modelos de um parâmetro, como o nome sugere, usam apenas um parâmetro (como probabilidades de log ou taxa relativa de log) para relacionar o resultado esperado a uma combinação linear de preditores e a uma função de link correspondente. A função de influência (gradiente ou derivada) do link relaciona a média à variância.

Os modelos de probabilidade gaussiana diferem dos modelos binomiais (logísticos), pois são dois modelos de parâmetros, incluindo um termo de dispersão (sigma ou variação residual). Um modelo gaussiano também é diferente de outros 2 modelos de parâmetros (como binomial negativo ou Gama) porque você pode escrever a variação residual como um termo separado em um modelo.

Basicamente, os mínimos quadrados comuns com erro normal e independente é o único caso que sei onde podemos realmente escrever: $y = \beta X + \epsilon$ significativamente.

A questão maior de como você relaciona os resultados esperados aos resultados observados é complicada. Em um modelo normal, essa é uma diferença simples do esperado e observado para obter um resíduo. Nos GLMs, a variação é heterocedástica, porque a média muda em função da$X$, para que você possa padronizar cada resíduo dividindo pelo erro padrão esperado para obter resíduos de Pearson.