Singularidades inesperadas no erro da matriz de Hessian na regressão logística multinomial

Fiz uma análise de regressão logística multinomial usando o SPSS 19. Encontrei o seguinte problema ao executar o procedimento de análise:

"Singularidades inesperadas na matriz Hessiana são encontradas. Isso indica que algumas variáveis preditoras devem ser excluídas ou algumas categorias devem ser mescladas."

Um pouco de fundo sobre meus dados usados. Eu tenho quatro preditores categóricos com dois níveis cada, 1 ou 2. A variável de resposta no meu modelo é uma variável categórica de três níveis. Eu usei o último nível como categoria de referência. Tentei comparar os coeficientes da interceptação com os dos quatro preditores nos dois logits, para descobrir qual nível da variável de resposta pode causar esse problema. As grandes diferenças de coeficientes entre a interceptação e três dos preditores sugerem que pode ser a categoria de referência que tem o problema. No entanto, não pude combinar os níveis da variável resposta (que não tenho permissão para minha pesquisa).

Eu também tentei excluir os preditores um por um, mas ainda tenho o mesmo problema.

Alguém poderia me dizer o que devo fazer para resolver este problema?

— Kate
fonte

Uma primeira verificação seria calcular a classificação da sua matriz de design. Se for menor que o número de colunas, você provavelmente precisará combinar e / ou recodificar adequadamente.

— cardinal

Dado que todas as variáveis são categóricas, uma opção alternativa é usar métodos de tabela de contingência. Ou seja, você tem uma tabela de contingência de cinco vias. Isso pode ser feito usando um poisson glm (modelo log-linear), que pode ser mais estável (embora não seja). Também pode ser um "problema de separação" - sua resposta pode ser perfeitamente prevista pelas covariáveis - faz com que os computadores surtem quando isso acontece porque a variação é zero.

— probabilityislogic

Na verdade, combinar níveis da variável resposta é uma maneira recomendada de abordar problemas na regressão logística multinomial. Ao combinar os dois níveis inferiores e os dois superiores, você pode aproximar os resultados multinomiais por meio de duas regressões logísticas (mais simples). Essas regressões logísticas e seus diagnósticos podem indicar o que está errado.

— whuber

A chave que você procura pode ser encontrada no site da UCLA para Regressão Logística Multinomial, onde afirma:

Previsão perfeita: previsão perfeita significa que apenas um valor de uma variável preditora está associado a apenas um valor da variável de resposta. Você pode dizer pela saída dos coeficientes de regressão que algo está errado. Em seguida, você pode fazer uma tabulação bidirecional da variável de resultado com a variável problemática para confirmar isso e executar novamente o modelo sem a variável problemática.

Eu recomendaria executar uma tabela de mão dupla para cada um dos preditores (versus a resposta) para determinar se um nível da resposta ocorre com apenas um nível do seu preditivo.

— M. Tibbits
fonte