Em R, como calcular o valor p para a área sob ROC

Eu luto para encontrar uma maneira de calcular o valor-p da área sob uma característica de operador de receptor (ROC). Eu tenho uma variável contínua e um resultado de teste de diagnóstico. Quero ver se o AUROC é estatisticamente significativo.

Encontrei muitos pacotes que tratam de curvas ROC: pROC, ROCR, caTools, verificação, Epi. Mas mesmo depois de muitas horas lendo a documentação e os testes, não consegui descobrir como. Eu acho que acabei de errar.

Na sua situação, seria bom plotar uma curva ROC e calcular a área sob essa curva, mas isso deve ser pensado como suplementar à sua análise principal, e não à análise primária em si. Em vez disso, você deseja ajustar um modelo de regressão logística .

O modelo de regressão logística virá como padrão com um teste do modelo como um todo. (Na verdade, como você tem apenas uma variável, esse valor p será o mesmo da variável de resultado do teste.) Esse valor p é o que você procura. O modelo permitirá calcular a probabilidade prevista de uma observação estar doente. Uma característica de operação do receptor informa como a sensibilidade e a especificidade serão trocadas, se você usar limites diferentes para converter a probabilidade prevista em uma classificação prevista. Como a probabilidade prevista será uma função da variável de resultado do teste, também será informado como eles serão trocados se você usar diferentes valores de resultado do teste como seu limite.

Se você não está muito familiarizado com a regressão logística, existem alguns recursos disponíveis na internet (além da página da Wikipedia vinculada acima):

• Discuto alguns princípios básicos da minha resposta aqui: Interpretação de previsões simples para razões de chances na regressão logística ; e (embora escrito em um contexto diferente), forneço uma visão geral do que é regressão logística e como ela se relaciona com a regressão OLS (regular) na minha resposta aqui: Diferença entre os modelos logit e probit .
• Você também pode ler alguns dos tópicos categorizados em nossa tag logística .
• Para saber como ajustar um modelo de regressão logística R, o site de ajuda de estatísticas da UCLA geralmente é excelente e tem uma página relevante aqui .

Basicamente, você deseja testar H0 = "A AUC é igual a 0,5".

Isso é de fato equivalente a dizer H0 = "A distribuição das classificações nos dois grupos é igual".

Esta última é a hipótese nula do teste de Mann-Whitney (Wilcoxon) (ver, por exemplo , Gold, 1999 ).

Em outras palavras, você pode usar com segurança um teste de Mann-Whitney-Wilcoxon para responder sua pergunta (ver, por exemplo, Mason & Graham, 2002 ). É exatamente isso que o pacote de verificação mencionado por Franck Dernoncourt faz.

Você pode usar roc.area () na verificação do pacote :

install.packages("verification")
library("verification")

# Data used from Mason and Graham (2002).
a<- c(1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990,
 1991, 1992, 1993, 1994, 1995)
d<- c(.928,.576, .008, .944, .832, .816, .136, .584, .032, .016, .28, .024, 0, .984, .952)

A<- data.frame(a,d)
names(A)<- c("year", "p2")

# For model without ties
roc.area(A$event, A$p2)

Vai voltar $p.value [1] 0.0069930071

Duas curvas ROC podem ser comparadas no pROC usando roc.test(). Isso também produz um valor-p. Além disso, o uso roc(..., auc=TRUE, ci=TRUE)fornecerá intervalos de confiança mais altos e mais baixos, juntamente com a AUC na saída, ao criar o objeto ROC, o que pode ser útil.

A seguir, é apresentado um exemplo de código que testa se as milhas por galão ou o peso de um carro são um melhor indicador do tipo de transmissão com a qual vem equipado (automático ou manual):

library(pROC)
roc_object_1 <- roc(mtcars$am, mtcars$mpg, auc=T, ci=T) #gives AUC and CI
roc_object_2 <- roc(mtcars$am, mtcars$wt, auc=T, ci=T) #gives AUC and CI

roc.test(roc_object_1, roc_object_2) #gives p-value

O peso é um indicador significativamente melhor do que o consumo de combustível, ao que parece. No entanto, isso está comparando duas curvas, e não uma única curva contra um número como 0,5. Observar o intervalo de confiança para ver se ele contém o número 0,5 nos diz se é significativamente diferente, mas não produz um valor-p.