Perguntas com a marcação «auc»

Pesquisou alta e baixa e não conseguiu descobrir o que a AUC, como relacionada à previsão, significa ou significa.

228 classification  prediction  roc  auc  abbreviation 

Estou interessado em calcular a área sob a curva (AUC), ou a estatística c, manualmente para um modelo de regressão logística binária. Por exemplo, no conjunto de dados de validação, tenho o valor verdadeiro da variável dependente, retenção (1 = retido; 0 = não retido), bem como um status de …

78 regression  logistic  classification  roc  auc 

O Critério de Informação de Akaike (AIC) e a estatística-c (área sob a curva ROC) são duas medidas de ajuste do modelo para a regressão logística. Estou tendo problemas para explicar o que está acontecendo quando os resultados das duas medidas não são consistentes. Eu acho que eles estão medindo …

29 logistic  roc  aic  auc 

Eu tenho dois classificadores A: rede bayesiana ingênua B: rede bayesiana em árvore (conectada individualmente) Em termos de precisão e outras medidas, A tem um desempenho comparativamente pior que B. No entanto, quando eu uso os pacotes R ROCR e AUC para realizar análises ROC, verifica-se que a AUC para …

29 machine-learning  classification  roc  auc  bayesian-network 

A precisão média (AP) é a área sob a curva de precisão de recuperação (AUC da curva PR)? EDITAR: Aqui estão alguns comentários sobre a diferença entre PR AUC e AP. A AUC é obtida por interpolação trapezoidal da precisão. Uma métrica alternativa e geralmente quase equivalente é a Precisão …

27 scikit-learn  precision-recall  auc  average-precision 

Na discussão: como gerar uma curva roc para classificação binária , acho que a confusão foi que um "classificador binário" (que é qualquer classificador que separa duas classes) foi para Yang o que é chamado de "classificador discreto" (que produz saídas discretas 0/1 como um SVM) e não saídas contínuas …

25 cross-validation  roc  auc 

A imagem abaixo mostra uma curva contínua de taxas de falsos positivos vs. taxas de verdadeiros positivos: No entanto, o que não entendo imediatamente é como essas taxas estão sendo calculadas. Se um método é aplicado a um conjunto de dados, ele possui uma certa taxa de FP e uma …

22 machine-learning  data-visualization  roc  auc 

Preâmbulo Este é um longo post. Se você estiver relendo isso, observe que revi a parte da pergunta, embora o material de segundo plano permaneça o mesmo. Além disso, acredito que desenvolvi uma solução para o problema. Essa solução aparece na parte inferior da postagem. Agradeço ao CliffAB por apontar …

21 machine-learning  bayesian  sampling  roc  auc 

Estou usando um classificador que retorna probabilidades. Para calcular a AUC, estou usando o pROC R-package. As probabilidades de saída do classificador são: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmostra probabilidade de estar na classe '1'. Como mostrado, o classificador classificou todas as amostras na classe …

20 machine-learning  auc 

Tenho algumas dúvidas sobre qual medida de desempenho usar, área sob a curva ROC (TPR como uma função da FPR) ou área sob a curva de precisão de recall (precisão como uma função de recall). Meus dados estão desequilibrados, ou seja, o número de instâncias negativas é muito maior que …

16 r  machine-learning  roc  precision-recall  auc 

Eu construí uma curva ROC para um sistema de diagnóstico. A área sob a curva foi então estimada não parametricamente como AUC = 0,89. Quando tentei calcular a precisão na configuração de limite ideal (o ponto mais próximo do ponto (0, 1)), obtive a precisão do sistema de diagnóstico em …

16 roc  reliability  accuracy  auc 

Os valores da AUC-ROC podem estar entre 0-0,5? O modelo produz valores entre 0 e 0,5?

16 roc  model-evaluation  auc 

Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Estou tentando usar a função ' densidade ' em R para fazer estimativas de densidade do kernel. Estou tendo alguma dificuldade em interpretar os resultados e comparar vários conjuntos de dados, pois parece que a área sob a curva não é necessariamente 1. Para qualquer função de densidade de probabilidade …

15 r  estimation  pdf  kernel-smoothing  auc 

A pontuação F1 é a média harmônica de precisão e recuperação. O eixo y da recuperação é uma taxa positiva verdadeira (que também é recuperação). Assim, em algum momento os classificadores podem ter um recall baixo, mas uma AUC muito alta, o que isso significa? Quais são as diferenças entre …

14 machine-learning  precision-recall  auc  accuracy