Perguntas com a marcação «model-evaluation»

Essa é uma pergunta geral que foi feita indiretamente várias vezes aqui, mas falta uma única resposta autoritativa. Seria ótimo ter uma resposta detalhada para isso para referência. A precisão , a proporção de classificações corretas entre todas as classificações, é uma medida muito simples e muito "intuitiva", mas pode …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Eu perguntei isso anteriormente no StackOverflow, mas parece que pode ser mais apropriado aqui, já que não obteve respostas no SO. É uma espécie de cruzamento entre estatística e programação. Preciso escrever algum código para fazer o PCA (Principal Component Analysis). Naveguei pelos algoritmos conhecidos e implementei este , que, …

54 pca  algorithms  model-evaluation  high-dimensional 

Notei que existem algumas implementações de floresta aleatória, como ALGLIB, Waffles e alguns pacotes R, como randomForest. Alguém pode me dizer se essas bibliotecas são altamente otimizadas? Eles são basicamente equivalentes às florestas aleatórias, conforme detalhado em Os elementos do aprendizado estatístico, ou foram adicionados muitos truques extras? Espero que …

43 random-forest  algorithms  model-evaluation 

Um dos maiores problemas com a análise de cluster é que podemos ter que tirar conclusões diferentes quando baseamos nos diferentes métodos de cluster usados ​​(incluindo diferentes métodos de ligação no cluster hierárquico). Gostaria de saber sua opinião sobre isso - qual método você selecionará e como. Pode-se dizer "o …

35 clustering  validation  model-evaluation  hierarchical-clustering 

Recentemente, me deparei com um artigo que propõe o uso de um classificador k-NN em um conjunto de dados específico. Os autores usaram todas as amostras de dados disponíveis para realizar a validação cruzada de dobras k para diferentes valores de k e relatam os resultados da validação cruzada da …

31 cross-validation  references  model-selection  model-evaluation 

Como todos sabemos, existem 2 métodos para avaliar o modelo de regressão logística e eles estão testando coisas muito diferentes Poder preditivo: Obtenha uma estatística que mede o quão bem você pode prever a variável dependente com base nas variáveis ​​independentes. Os bem conhecidos Pseudo R ^ 2 são McFadden …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Eu lido com um problema de detecção de fraude (como pontuação de crédito). Como tal, existe uma relação altamente desequilibrada entre observações fraudulentas e não fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fornece uma excelente visão geral das diferentes métricas de classificação. Precision and Recallou kappaambos parecem ser uma boa escolha: Uma maneira de justificar …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Os valores da AUC-ROC podem estar entre 0-0,5? O modelo produz valores entre 0 e 0,5?

16 roc  model-evaluation  auc 

A concorrência da Kaggle A Safe Driver Prediction da Porto Seguro usa a Pontuação Gini Normalizada como métrica de avaliação e isso me deixou curioso sobre os motivos dessa escolha. Quais são as vantagens de usar a pontuação gini normalizada em vez das métricas mais comuns, como AUC, para avaliação?

14 classification  auc  model-evaluation  gini 

Uma medida comum usada para comparar dois ou mais modelos de classificação é usar a área sob a curva ROC (AUC) como uma maneira de avaliar indiretamente seu desempenho. Nesse caso, um modelo com uma AUC maior é geralmente interpretado como tendo um desempenho melhor do que um modelo com …

13 machine-learning  classification  roc  auc  model-evaluation 

Os coeficientes de correlação phi e Matthews são o mesmo conceito? Como eles estão relacionados ou equivalentes ao coeficiente de correlação de Pearson para duas variáveis ​​binárias? Presumo que os valores binários sejam 0 e 1. A correlação de Pearson entre duas variáveis aleatórias de Bernoulli e y é:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Na minha exposição em sala de aula à mineração de dados, o método de validação foi introduzido como uma maneira de avaliar o desempenho do modelo. No entanto, quando fiz minha primeira aula sobre modelos lineares, isso não foi introduzido como um meio de validação ou avaliação de modelo. Minha …

12 regression  validation  model-evaluation  out-of-sample 

Queria entender melhor o teste exato de Fisher, então inventei o seguinte exemplo de brinquedo, em que f e m correspondem a homens e mulheres e n e y correspondem a "consumo de refrigerante" como este: > soda_gender f m n 0 5 y 5 0 Obviamente, isso é uma …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Eu estava lendo sobre métricas de regressão no python scikit-learn o manual e mesmo que cada um deles tem sua própria fórmula, eu não posso dizer intuitivamente o que é a diferença entre R2R2R^2 e pontuação variância e, portanto, quando usar um ou outro para avaliar o meu modelos.

12 regression  variance  scikit-learn  r-squared  model-evaluation 

Esta é a pontuação F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1 1+β2)⋅precEusEuon⋅recumaeueu(β2⋅precEusEuon)+recumaeueuF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} O artigo da Wikipedia afirma que .FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" Eu não …

10 machine-learning  precision-recall  model-evaluation