Perguntas com a marcação «precision-recall»

Eu entendo as diferenças formais entre eles, o que eu quero saber é quando é mais relevante usar um vs. o outro. Eles sempre fornecem informações complementares sobre o desempenho de um determinado sistema de classificação / detecção? Quando é razoável fornecer os dois, digamos, em um artigo? em vez …

159 machine-learning  roc  precision-recall 

Gostaria de saber como calcular precisão e recordar usando uma matriz de confusão para um problema de classificação de várias classes. Especificamente, uma observação só pode ser atribuída à sua classe / rótulo mais provável. Eu gostaria de calcular: Precisão = TP / (TP + FP) Rechamada = TP / …

92 machine-learning  classification  precision-recall  multi-class 

Eu estou querendo saber como calcular medidas de precisão e recall para classificação de várias etiquetas multiclass, ou seja, classificação onde há mais de dois rótulos e onde cada instância pode ter vários rótulos?

72 machine-learning  classification  precision-recall  multi-class 

Eu gostaria de saber como interpretar uma diferença dos valores da medida f. Sei que f-measure é uma média equilibrada entre precisão e recordação, mas estou perguntando sobre o significado prático de uma diferença nas medidas f. Por exemplo, se um classificador C1 tem uma precisão de 0,4 e outro …

41 classification  precision-recall 

Eu tenho uma tarefa de classificação na qual tenho vários preditores (um dos quais é o mais informativo) e estou usando o modelo MARS para construir meu classificador (estou interessado em qualquer modelo simples e usar glms para fins ilustrativos seria bem também). Agora, tenho um enorme desequilíbrio de classe …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Eu tenho abaixo um exemplo que tirei da documentação sklearn.metrics.classification_report do sklearn. O que não entendo é por que existem valores de pontuação f1, precisão e recordação para cada classe em que acredito que classe é o rótulo do preditor? Eu pensei que a pontuação f1 informa a precisão geral …

29 machine-learning  python  scikit-learn  precision-recall 

A precisão média (AP) é a área sob a curva de precisão de recuperação (AUC da curva PR)? EDITAR: Aqui estão alguns comentários sobre a diferença entre PR AUC e AP. A AUC é obtida por interpolação trapezoidal da precisão. Uma métrica alternativa e geralmente quase equivalente é a Precisão …

27 scikit-learn  precision-recall  auc  average-precision 

Eu estava confuso sobre as diferenças entre a pontuação da F1, a pontuação dos dados e a IoU (cruzamento sobre a união). Até agora eu descobri que F1 e Dice significam a mesma coisa (certo?) E IoU tem uma fórmula muito semelhante às outras duas. F1 / Dados:2 TP2 TP+ …

24 terminology  accuracy  precision-recall 

Eu lido com um problema de detecção de fraude (como pontuação de crédito). Como tal, existe uma relação altamente desequilibrada entre observações fraudulentas e não fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fornece uma excelente visão geral das diferentes métricas de classificação. Precision and Recallou kappaambos parecem ser uma boa escolha: Uma maneira de justificar …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando um teste estatístico …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Acabei de ler esta discussão. Eles argumentam que a AUC do PR é melhor que a AUC do ROC no conjunto de dados desequilibrados. Por exemplo, temos 10 amostras no conjunto de dados de teste. 9 amostras são positivas e 1 é negativa. Temos um modelo terrível que prevê tudo …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Tenho algumas dúvidas sobre qual medida de desempenho usar, área sob a curva ROC (TPR como uma função da FPR) ou área sob a curva de precisão de recall (precisão como uma função de recall). Meus dados estão desequilibrados, ou seja, o número de instâncias negativas é muito maior que …

16 r  machine-learning  roc  precision-recall  auc 

Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Eu tenho um conjunto de dados com alguns milhões de linhas e ~ 100 colunas. Gostaria de detectar cerca de 1% dos exemplos no conjunto de dados, que pertencem a uma classe comum. Eu tenho uma restrição de precisão mínima, mas devido ao custo muito assimétrico, não estou muito interessado …

15 machine-learning  classification  unbalanced-classes  precision-recall 

Alguém pode resumir para mim com exemplos possíveis, em que situações o aumento dos dados de treinamento melhora o sistema geral? Quando detectamos que a adição de mais dados de treinamento poderia sobrepor-se aos dados e não fornecer boas precisões nos dados de teste? Essa é uma pergunta muito inespecífica, …

15 machine-learning  classification  dataset  precision-recall