Perguntas com a marcação «scoring-rules»

As regras de pontuação são usadas para avaliar a precisão das probabilidades previstas ou, mais geralmente, das densidades preditivas. Exemplos de regras de pontuação incluem o logarítmico, Brier, esférico, probabilidade classificada e a pontuação Dawid-Sebastiani e o desvio preditivo.

7
Por que a precisão não é a melhor medida para avaliar modelos de classificação?
Essa é uma pergunta geral que foi feita indiretamente várias vezes aqui, mas falta uma única resposta autoritativa. Seria ótimo ter uma resposta detalhada para isso para referência. A precisão , a proporção de classificações corretas entre todas as classificações, é uma medida muito simples e muito "intuitiva", mas pode …
1
O que significa que a AUC é uma regra de pontuação semi-adequada?
Uma regra de pontuação adequada é uma regra que é maximizada por um modelo 'verdadeiro' e não permite 'hedging' ou jogo do sistema (relatando deliberadamente resultados diferentes, como é a crença verdadeira do modelo para melhorar a pontuação). A pontuação Brier é adequada, a precisão (proporção classificada corretamente) é inadequada …
1
A precisão é uma regra de pontuação inadequada em uma configuração de classificação binária?
Recentemente, aprendi sobre regras de pontuação adequadas para classificadores probabilísticos. Vários tópicos neste site fizeram questão de enfatizar que a precisão é uma regra de pontuação inadequada e não deve ser usada para avaliar a qualidade das previsões geradas por um modelo probabilístico, como a regressão logística. No entanto, muitos …
2
Como escolher a largura ideal da bandeja ao calibrar modelos de probabilidade?
Antecedentes: Existem algumas ótimas perguntas / respostas aqui sobre como calibrar modelos que preveem as probabilidades de um resultado acontecer. Por exemplo Brier score , e sua decomposição em resolução, incerteza e confiabilidade . Gráficos de calibração e regressão isotônica . Esses métodos geralmente exigem o uso de um método …
1
Qual modelo de aprendizagem profunda pode classificar categorias que não são mutuamente exclusivas
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última camada. …
9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.