Perguntas com a marcação «calibration»

Suponha que eu tenha um modelo preditivo que produz, para cada instância, uma probabilidade para cada classe. Agora reconheço que existem muitas maneiras de avaliar esse modelo se eu quiser usar essas probabilidades para classificação (precisão, recall, etc.). Também reconheço que uma curva ROC e a área sob ela podem …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Para calibrar um nível de confiança para uma probabilidade de aprendizado supervisionado (digamos, mapear a confiança de um SVM ou de uma árvore de decisão usando dados superamostrados), um método é usar o Escala de Platt (por exemplo, Obtendo Probabilidades Calibradas do Impulso ). Basicamente, utiliza-se regressão logística para mapear …

17 logistic  cross-validation  calibration 

Gostaria de obter conselhos sobre como agrupar os gráficos / estatísticas de calibração após imputação múltipla. No cenário do desenvolvimento de modelos estatísticos para prever um evento futuro (por exemplo, usando dados de registros hospitalares para prever a sobrevivência ou eventos após a alta hospitalar), pode-se imaginar que há algumas …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

O Scikit possui o CalibratedClassifierCV , que permite calibrar nossos modelos em um par X, y específico. Também afirma claramente quedata for fitting the classifier and for calibrating it must be disjoint. Se eles devem ser desarticulados, é legítimo treinar o classificador com o seguinte? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation  scikit-learn  validation  train  calibration 

Antecedentes: Existem algumas ótimas perguntas / respostas aqui sobre como calibrar modelos que preveem as probabilidades de um resultado acontecer. Por exemplo Brier score , e sua decomposição em resolução, incerteza e confiabilidade . Gráficos de calibração e regressão isotônica . Esses métodos geralmente exigem o uso de um método …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Programei e desenvolvo testes. Depois de fazer uma alteração no meu código, executo meus testes. Às vezes eles conseguem e outras vezes fracassam. Antes de executar um teste, escrevo um número de 0,01 a 0,99 para creditar que o teste será bem-sucedido. Quero saber se estou melhorando para prever se …

10 forecasting  decision-theory  calibration  scoring-rules 

Nos documentos de aprendizado do scikit sobre calibração de probabilidade, eles comparam a regressão logística com outros métodos e observam que a floresta aleatória é menos bem calibrada que a regressão logística. Por que a regressão logística é bem calibrada? Como alguém poderia arruinar a calibração de uma regressão logística …

9 regression  logistic  calibration 

Pergunta : Eu ajustei um modelo probabilístico (rede bayesiana) para modelar uma variável de resultado binário. Gostaria de criar um gráfico de calibração de alta resolução (por exemplo, spline) corrigido para sobreajuste com o bootstrapping. Existe um procedimento padrão para calcular essa curva? Considerações : eu poderia fazer isso facilmente …

9 bootstrap  splines  regression-strategies  calibration 

Eu tenho um modelo de regressão logística binária derivada passo a passo. Eu usei a calibrate(, bw=200, bw=TRUE)função no rmspacote em R para estimar sua calibração futura. A saída é fornecida abaixo e mostra a estimativa da curva de calibração corrigida por overfitting de autoinicialização para o modelo de logística …

7 r  logistic  multiple-regression  regression-strategies  calibration 

Parece um problema comum, mas não consigo encontrar uma solução. Eu tenho um conjunto de observações binárias e dois modelos diferentes, cada um com previsões para cada observação. Eu quero comparar a calibração dos modelos. Existem várias abordagens para comparar a discriminação desses modelos (ou seja, consulte o roc.test no …

7 r  machine-learning  logistic  calibration  scoring-rules 

O parâmetro alfa de uma média móvel exponencial define a suavização que a média aplica a uma série temporal. De maneira semelhante, o tamanho da janela de uma janela em movimento também define a suavização. Existe alguma maneira de ajustar o parâmetro alfa, de modo que a suavização seja aproximadamente …

7 exponential-smoothing  moving-average  calibration  moving-window 

Para fazer um gráfico de calibração para as probabilidades de sobrevivência estimadas a partir de um modelo de Cox, pode-se dividir o risco estimado em grupos, calcular o risco médio dentro de um grupo e depois compará-lo com a estimativa de Kaplan-Meier. Quais são as abordagens alternativas que não exigem …

7 survival  regression-strategies  calibration