Perguntas com a marcação «precision-recall»

Estou trabalhando em um problema de classificação binária em que é muito mais importante não ter falsos positivos; muitos falsos negativos estão ok. Eu usei vários classificadores no sklearn, por exemplo, mas acho que nenhum deles tem a capacidade de ajustar explicitamente o tradeoff de recall de precisão (eles produzem …

11 classification  precision-recall 

Como tenho um conjunto de dados muito desequilibrado (resultados positivos de 9%), decidi que uma curva de precisão e recordação era mais apropriada do que uma curva ROC. Obtive a medida sumária análoga da área sob a curva PR (0,49, se você estiver interessado), mas não tenho certeza de como …

11 classification  precision-recall  auc 

Estou trabalhando com dados desequilibrados, onde existem cerca de 40 casos de classe = 0 para cada classe = 1. Eu posso discriminar razoavelmente entre as classes usando recursos individuais, e treinar um classificador ingênuo de Bayes e SVM em 6 recursos e dados balanceados gerou uma melhor discriminação (curvas …

11 classification  svm  roc  naive-bayes  precision-recall 

Esta é a pontuação F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1 1+β2)⋅precEusEuon⋅recumaeueu(β2⋅precEusEuon)+recumaeueuF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} O artigo da Wikipedia afirma que .FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" Eu não …

10 machine-learning  precision-recall  model-evaluation 

Atualmente, estou comparando três métodos e tenho a Precisão, auROC e auPR como métricas. E eu tenho os seguintes resultados: Método A - acc: 0,75, auROC: 0,75, auPR: 0,45 Método B - acc: 0,65, auROC: 0,55, auPR: 0,40 Método C - acc: 0,55, auROC: 0,70, auPR: 0,65 Eu tenho um …

10 machine-learning  roc  precision-recall 

Por que a lembrança não leva em consideração os verdadeiros negativos? Em experimentos em que os verdadeiros negativos são tão importantes quanto os verdadeiros positivos, é uma métrica comparável que leva isso em consideração?

10 precision-recall 

Esta pergunta já tem uma resposta aqui : Como limiar a previsão de probabilidade multiclasse para obter matriz de confusão? (1 resposta) Fechado há 3 meses . O exemplo acima é um exemplo muito simples de ter uma saída do classificador de probabilidade para um caso de classe binária, 0 …

10 probability  classification  precision-recall  multi-class 

No momento, estou com alguns problemas ao analisar um conjunto de dados de tweet com máquinas de vetores de suporte. O problema é que tenho um conjunto de treinamento de classe binária desequilibrado (5: 2); que deve ser proporcional à distribuição de classe real. Ao prever, obtenho uma baixa precisão …

10 machine-learning  classification  svm  unbalanced-classes  precision-recall 

1) Como posso alterar o limite de classificação (acho que é 0,5 por padrão) no RandomForest no sklearn? 2) como posso sub-amostrar no sklearn? 3) Tenho o seguinte resultado do classificador RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 0.74 0.87 …

9 classification  random-forest  precision-recall  unbalanced-classes 

Estou bastante confuso sobre como posso calcular os valores de AP ou mAP, pois parece haver alguns métodos diferentes. Eu quero especificamente obter os valores de AP / mAP para detecção de objetos. Tudo o que tenho certeza é: Rechamada = TP / (TP + FN), Precisão = TP / …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection 

Suponha que eu esteja construindo um classificador de regressão logística que preveja se alguém é casado ou solteiro. (1 = casado, 0 = solteiro) Quero escolher um ponto na curva de precisão-recall que me dê pelo menos 75% de precisão, portanto, desejo escolher os limites e , para que:t 2t1t1t_1t2t2t_2 …

8 r  precision-recall 

Suponha que eu criei um sistema de recomendação que (dado o ranking de filmes ou qualquer outro usuário) produzirá uma lista de 10 filmes recomendados para cada usuário assistir. Imagine que eu também tenho um grande conjunto de itens de filme, juntamente com um registro de classificações de usuários e …

8 precision-recall  recommender-system 

Eu gostaria de comparar algoritmos de detecção outlier. Não tenho certeza se a área sob roc ou sob a curva de recuperação de precisão é a medida a ser usada. Um teste rápido no Matlab me dá resultados estranhos. Eu tento obter os valores ROC e PR para uma classificação …

7 machine-learning  experiment-design  roc  precision-recall  auc