Interpretação da curva de calibração


7

Eu tenho um modelo de regressão logística binária derivada passo a passo. Eu usei a calibrate(, bw=200, bw=TRUE)função no rmspacote em R para estimar sua calibração futura. A saída é fornecida abaixo e mostra a estimativa da curva de calibração corrigida por overfitting de autoinicialização para o modelo de logística step-down reversa. No entanto, não tenho certeza de como interpretá-lo.

insira a descrição da imagem aqui

Entendo que a calibração se refere a se as probabilidades previstas futuras concordam com as probabilidades observadas. Os modelos de previsão sofrem que as previsões para novos sujeitos sejam muito extremas (ou seja, que a probabilidade observada do resultado seja maior que a prevista para indivíduos de baixo risco e menor que a prevista para sujeitos de alto risco). Isso é observado traçando a curva pontilhada que é maior que o ideal (tracejado) para o grupo de baixo risco e menor que o ideal para o grupo de alto risco.

Usando o mesmo raciocínio, a curva corrigida pelo viés parece ser pior, no sentido em que produz probabilidades ainda mais extremas. Minha interpretação está correta?


11
bw=200deve lerbw=TRUE
Frank Harrell

Respostas:


2

A curva rotulada bias-correctedparece estar "super confiante": suas previsões para Predicted P(Class=1)<0.5são muito baixas e suas previsões para Predicted P(Class=1)>0.5são muito altas em relação a Actual probability.

Esse também é o caso da curva rotulada apparent, exceto nos extremos (aproximadamente: x <= 0,28 ou x> = 0,9) ela parece realmente sereuess confiante.

Não tenho certeza dos detalhes do método de correção de viés rms, mas não acho que o resultado seja necessariamente "pior"; Com a correção, as estimativas de probabilidade são paralelas ao ideal. Em outras palavras, embora se saiba que o modelo é um pouco confiante demais, podemos dizer que a diferença entre a previsão média para uma população com P (classe) = 0,2 é metade da previsão média para uma população com P (classe) = 0,4 , o que não era o caso antes e provavelmente o que se esperaria.


11
Eu não enfatizaria o último parágrafo, caso contrário, boa resposta @ user99889. A curva de calibração corrigida pelo ajuste excessivo do bootstrap mostra que há ajuste excessivo e que o ajuste aparente é otimisticamente bom. As curvas corrigidas pela inicialização são quase sempre mais afastadas da linha de 45 graus do que as curvas aparentes. No geral, eu diria que um ajuste excessivo está presente e os resultados provavelmente não são aceitáveis ​​para uso em campo, se forem necessárias estimativas de risco.
Frank Harrell
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.