Diagnósticos para regressão logística?

Para regressão linear, podemos verificar os gráficos de diagnóstico (gráficos de resíduos, gráficos de QQ normal, etc.) para verificar se as suposições de regressão linear são violadas.

Para regressão logística, estou tendo problemas para encontrar recursos que expliquem como diagnosticar o ajuste do modelo de regressão logística. Desenterrar algumas notas do curso para GLM, simplesmente afirma que a verificação dos resíduos não é útil para realizar o diagnóstico de um ajuste de regressão logística.

Olhando pela Internet, também parece haver vários procedimentos de "diagnóstico", como verificar o desvio do modelo e realizar testes qui-quadrado, mas outras fontes afirmam que isso é inapropriado e que você deve executar uma boa adequação ao Hosmer-Lemeshow teste. Depois, encontro outras fontes que afirmam que esse teste pode ser altamente dependente dos agrupamentos e valores de corte reais (pode não ser confiável).

Então, como se deve diagnosticar a regressão logística?

regression logistic

— ialm
fonte

Possível duplicata (ou caso especial) de stats.stackexchange.com/questions/29271/… ou stats.stackexchange.com/questions/44643/… , embora nenhum deles tenha respostas que realmente o resolvam para você.

— Peter Ellis

Eu recomendo que você leia a monografia de Scott Menard, que há pouco tempo estava disponível na íntegra gratuitamente na web.

— Rolando2

Essa pergunta sobre medidas de qualidade de ajuste para regressão logística pode ser útil (embora a qualidade de ajuste seja apenas uma pequena parte do diagnóstico do modelo): stats.stackexchange.com/questions/3559/logistic-regression-which-pseudo-r- medida-ao-quadrado-é-a-a-denunciar-cox / 3570

— S. Kolassa - Restabelece Monica 4/12/12

Respostas:

Algumas técnicas mais recentes que me deparei para avaliar o ajuste de modelos de regressão logística vêm de revistas de ciências políticas:

Greenhill, Brian, Michael D. Ward e Audrey Sacks. 2011. O gráfico de separação: um novo método visual para avaliar o ajuste de modelos binários. American Journal of Political Science 55 (4): 991-1002 .
Esarey, Justin e Andrew Pierce. 2012. Avaliação da qualidade do ajuste e teste para erros de especificação em modelos variáveis dependentes de binários. Análise Política 20 (4): 480-500 . Preprint PDF Here

Ambas as técnicas pretendem substituir os testes de qualidade de ajuste (como Hosmer e Lemeshow) e identificar possíveis erros de especificação (em particular a não linearidade nas variáveis incluídas na equação). Isso é particularmente útil, pois as medidas típicas de ajuste do quadrado R são frequentemente criticadas .

Ambos os trabalhos acima utilizam probabilidades previstas versus resultados observados em parcelas - evitando um pouco a questão clara do que é um resíduo nesses modelos. Exemplos de resíduos podem ser uma contribuição para a probabilidade logarítmica ou resíduos de Pearson (acredito que existem muitos mais). Outra medida que geralmente interessa (embora não seja residual) são as da DFBeta (a quantidade que uma estimativa de coeficiente muda quando uma observação é excluída do modelo). Veja exemplos em Stata para esta página da UCLA em Diagnóstico de regressão logística, juntamente com outros procedimentos de diagnóstico em potencial.

Não o tenho à mão, mas acredito que os modelos de regressão de J. Scott Long para variáveis dependentes categóricas e limitadas entram em detalhes suficientes de todas essas diferentes medidas de diagnóstico de uma maneira simples.

— Andy W
fonte

Existem muitos outros livros disponíveis (pelo menos em partes, se não na totalidade) para regressão logística. Os vários livros de texto de análise de dados categóricos de Agresti, Scott Menard, Hosmer e Lemeshow, e o livro RMS de Frank Harrell são todos os que eu já vi recomendados neste fórum por vários colaboradores.

— Andy W

Obrigado pela sua resposta. Eu acho que não há uma resposta simples para minha pergunta. Vou dar uma olhada nas suas recomendações. Felicidades.

— Ialm

A questão não estava suficientemente motivada. Deve haver um motivo para executar o diagnóstico do modelo, como

Potencial de alterar o modelo para torná-lo melhor
Não saber quais testes direcionados usar (ou seja, testes de não linearidade ou interação)
Não compreender que a alteração do modelo pode facilmente distorcer a inferência estatística (erros padrão, intervalos de confiança, valores- ) $P$

Exceto por verificar coisas ortogonais à especificação de regressão algébrica (por exemplo, examinar a distribuição de resíduos em modelos lineares comuns), o diagnóstico de modelo pode criar tantos problemas quanto resolver na minha opinião. Isto é especialmente verdade no modelo de logística binária, uma vez que não possui nenhuma premissa distributiva.

Portanto, geralmente é melhor gastar tempo especificando o modelo, especialmente para não assumir linearidade para variáveis consideradas fortes para as quais nenhuma evidência anterior sugere linearidade. Em algumas ocasiões, você pode pré-especificar um modelo que deve se ajustar, por exemplo, se o número de preditores for pequeno ou permitir que todos os preditores sejam não lineares e (corretamente) não assumam interações.

Qualquer pessoa que sinta que o diagnóstico do modelo pode ser usado para alterar o modelo deve executar esse processo em um loop de autoinicialização para estimar corretamente as incertezas do modelo induzido.

— Frank Harrell
fonte

Concordo que o diagnóstico do modelo deve resultar do objetivo da modelagem. No entanto, tive a impressão do seu parágrafo inicial de que você acha que não devemos verificar os modelos que ajustamos aos dados. Tenho certeza de que não é isso que você tinha em mente. Além disso, o modelo logístico binário certamente não têm hipóteses de distribuição! (sendo o mais evidente que existem apenas dois valores para a resposta)

— probabilityislogic

Além de assumir que existem apenas 2 valores possíveis específicos para Y, o modelo logístico binário não tem dist. premissas. Pessoalmente, não uso gráficos de diagnóstico com regressão logística com muita frequência, optando por especificar modelos flexíveis o suficiente para ajustar os dados de qualquer maneira que o tamanho da amostra nos dê o luxo de examinar. No OLS, o gráfico de diagnóstico principal usado é o gráfico qq para a normalidade dos resíduos.

— Frank Harrell

De uma perspectiva generalizada do modelo linear, o modelo logístico surge da distribuição binomial (distribuição de Bernoulli). Mas, mesmo assim, é difícil interpretar resíduos.

— #

Falar sobre distribuições quando a variável aleatória pode assumir apenas dois valores (ou seja, distribuição de Bernoulli) não ajuda, porque não há como a suposição distributiva dar errado, a menos que as observações não sejam independentes.

— 31516 Frank

@FrankHarrell Percebo que você sabe do que está falando aqui, mas não acho que para toda a comunidade, a partir do seu post / comentários, fique claro que as especificações incorretas do preditor linear (ou mesmo do preditor aditivo em um Estrutura GAM) pode causar problemas para a regressão logística. Muitos podem não entender que isso cria não independência nos dados, como você diz. Quando os alunos encontram a regressão linear pela primeira vez, aprendem a inspecionar os resíduos sem distinguir entre a especificação incorreta do preditor linear e a especificação incorreta da distribuição de erros.

— precisa saber é o seguinte

Esse segmento é bastante antigo, mas achei que seria útil acrescentar que, desde recentemente, você pode usar o pacote DHARMa R para transformar os resíduos de qualquer GL (M) M em um espaço padronizado. Feito isso, é possível avaliar / testar visualmente problemas residuais, como desvios da distribuição, dependência residual de um preditor, heterocedasticidade ou autocorrelação da maneira normal. Veja a vinheta do pacote para obter exemplos detalhados, além de outras perguntas sobre o CV aqui e aqui .

— Florian Hartig
fonte