Perguntas com a marcação «roc»

Esta questão é sobre a estimativa de pontos de corte em um questionário de triagem multidimensional para prever um endpoint binário, na presença de escalas correlatas. Perguntaram-me sobre o interesse de controlar os subescores associados ao criar pontuações de corte em cada dimensão de uma escala de medida (traços de …

20 epidemiology  roc 

Alguém pode me explicar as diferenças reais entre análise de regressão e ajuste de curva (linear e não linear), com um exemplo, se possível? Parece que ambos tentam encontrar uma relação entre duas variáveis ​​(dependente versus independente) e, em seguida, determinam o parâmetro (ou coeficiente) associado aos modelos propostos. Por …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Acabei de ler esta discussão. Eles argumentam que a AUC do PR é melhor que a AUC do ROC no conjunto de dados desequilibrados. Por exemplo, temos 10 amostras no conjunto de dados de teste. 9 amostras são positivas e 1 é negativa. Temos um modelo terrível que prevê tudo …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Uma regra de pontuação adequada é uma regra que é maximizada por um modelo 'verdadeiro' e não permite 'hedging' ou jogo do sistema (relatando deliberadamente resultados diferentes, como é a crença verdadeira do modelo para melhorar a pontuação). A pontuação Brier é adequada, a precisão (proporção classificada corretamente) é inadequada …

16 classification  references  roc  measurement-error  scoring-rules 

Tenho algumas dúvidas sobre qual medida de desempenho usar, área sob a curva ROC (TPR como uma função da FPR) ou área sob a curva de precisão de recall (precisão como uma função de recall). Meus dados estão desequilibrados, ou seja, o número de instâncias negativas é muito maior que …

16 r  machine-learning  roc  precision-recall  auc 

Eu construí uma curva ROC para um sistema de diagnóstico. A área sob a curva foi então estimada não parametricamente como AUC = 0,89. Quando tentei calcular a precisão na configuração de limite ideal (o ponto mais próximo do ponto (0, 1)), obtive a precisão do sistema de diagnóstico em …

16 roc  reliability  accuracy  auc 

Os valores da AUC-ROC podem estar entre 0-0,5? O modelo produz valores entre 0 e 0,5?

16 roc  model-evaluation  auc 

Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Estou estudando um curso de aprendizado de máquina e os slides das palestras contêm informações que considero contraditórias com o livro recomendado. O problema é o seguinte: existem três classificadores: classificador A, que oferece melhor desempenho na faixa mais baixa dos limites, classificador B, proporcionando melhor desempenho na faixa mais …

15 machine-learning  probability  data-visualization  classification  roc 

Suponha que eu tenha construído um modelo de previsão para a ocorrência de uma doença específica em um conjunto de dados (o conjunto de dados de construção do modelo) e agora quero verificar o quão bem o modelo funciona em um novo conjunto de dados (o conjunto de dados de …

15 predictive-models  cross-validation  survival  roc 

Quais são as vantagens das curvas ROC? Por exemplo, estou classificando algumas imagens que são um problema de classificação binária. Extraí cerca de 500 recursos e apliquei um algoritmo de seleção de recursos para selecionar um conjunto de recursos, depois apliquei o SVM para classificação. Nesse caso, como posso obter …

15 machine-learning  roc 

Estou planejando usar a validação cruzada estratificada de 10 vezes repetida (10 vezes) em cerca de 10.000 casos usando o algoritmo de aprendizado de máquina. Cada vez que a repetição será feita com sementes aleatórias diferentes. Nesse processo, crio 10 instâncias de estimativas de probabilidade para cada caso. 1 instância …

15 roc 

Eu tenho um conjunto de testes de 100 casos e dois classificadores. Gerei previsões e AUC ROC computada, sensibilidade e especificidade para os dois classificadores. Pergunta 1: Como posso calcular o valor-p para verificar se um é significativamente melhor que o outro em relação a todas as pontuações (AUC ROC, …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Estou tentando entender como calcular o ponto de corte ideal para uma curva ROC (o valor no qual a sensibilidade e a especificidade são maximizadas). Estou usando o conjunto aSAHde dados do pacotepROC . A outcomevariável pode ser explicada por duas variáveis ​​independentes: s100be ndka. Usando a sintaxe do Epipacote, …

14 r  roc  sensitivity-analysis  sensitivity-specificity 

Por que a área sob a curva ROC tem a probabilidade de um classificador classificar uma instância "positiva" escolhida aleatoriamente (a partir das previsões obtidas) mais alta que uma instância "positiva" escolhida aleatoriamente (a partir da classe positiva original)? Como alguém prova essa afirmação matematicamente usando integral, fornecendo os CDFs …

14 probability  roc  auc