Perguntas com a marcação «validation»

Treinei dois modelos (classificadores binários usando o h2o AutoML) e quero selecionar um para usar. Eu tenho os seguintes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 as colunas auce loglosssão as métricas de validação cruzada …

14 model-selection  validation  auc  gini  log-loss 

Suponha que eu tenha uma divisão 80/20 entre observações de modelagem / validação. Ajustei um modelo ao conjunto de dados de modelagem e me sinto confortável com o erro que estou vendo no conjunto de dados de validação. Antes de lançar meu modelo para escorar observações futuras, é apropriado combinar …

13 regression  predictive-models  validation 

Na minha exposição em sala de aula à mineração de dados, o método de validação foi introduzido como uma maneira de avaliar o desempenho do modelo. No entanto, quando fiz minha primeira aula sobre modelos lineares, isso não foi introduzido como um meio de validação ou avaliação de modelo. Minha …

12 regression  validation  model-evaluation  out-of-sample 

A pergunta de ontem Determinar a precisão do modelo que estima a probabilidade de evento me deixou curioso sobre a pontuação de probabilidade. A pontuação Brier é uma medida de erro médio quadrático. O análogo significa a medida do desempenho do erro absoluto11N∑i = 1N( p r e di c …

12 classification  error  validation  scoring-rules  brier-score 

Ao escolher o parâmetro de regularização lambda em Ridge ou Lasso, o método recomendado é tentar diferentes valores de lambda, medir o erro no conjunto de validação e finalmente escolher o valor de lambda que retorna o erro mais baixo. Não é óbvio para mim se a função f (lambda) …

11 cross-validation  error  regularization  validation  optimization 

Para não estatísticos como eu, é muito difícil capturar a ideia de VImétrica (variação de informação) mesmo depois de ler o artigo relevante de Marina Melia " Comparando agrupamentos - uma distância baseada em informação " (Journal of Multivariate Analysis, 2007). De fato, não estou familiarizado com muitos dos termos …

11 r  clustering  validation  intuition 

Eu gostaria de avaliar vários modelos diferentes que fornecem previsões de comportamento em um nível mensal. Os dados são equilibrados e 100.000 e T = 12. O resultado é assistir a um concerto em um determinado mês; portanto, é zero para ~ 80% das pessoas em qualquer mês, mas há …

11 repeated-measures  predictive-models  stata  panel-data  validation 

Me fizeram uma pergunta como "Você fez alguma verificação de consistência no seu trabalho diário?" durante uma entrevista por telefone para uma posição bioestatística. Não sei o que responder Qualquer informação é apreciada.

11 validation 

Qual é a melhor maneira de dividir dados de séries temporais em conjuntos de trem / teste / validação, onde o conjunto de validação seria usado para o ajuste de hiperparâmetros? Temos três anos de dados de vendas diárias e nosso plano é usar 2015-2016 como dados de treinamento e, …

11 time-series  cross-validation  validation 

Quais são as técnicas estatísticas para criar um conjunto de amostras representativo de toda a população (com um nível de confiança conhecido)? Além disso, Como validar, se a amostra se encaixa no conjunto de dados geral? É possível, sem analisar todo o conjunto de dados (que pode ser bilhões de …

10 sampling  sample-size  validation 

O livro Elements of Statistical Learning (disponível em PDF online) discute o viés otimista (7.21, página 229). Ele afirma que o viés de otimismo é a diferença entre o erro de treinamento e o erro dentro da amostra (erro observado se coletarmos novos valores de resultado em cada um dos …

9 error  bias  validation 

Forneceu um tamanho de amostra "N" que pretendo usar para prever dados. Quais são algumas das maneiras de subdividir os dados para que eu use algumas delas para estabelecer um modelo e os demais dados para validar o modelo? Sei que não há resposta em preto e branco para isso, …

9 machine-learning  modeling  sample  validation 

Li as duas páginas da wikipedia de análise de sensibilidade e validação de modelo (aqui, apenas validação de regressão linear), mas não consigo encontrar uma maneira de separar esses dois termos. Tenho a impressão de que o primeiro é mais utilizado na academia e na engenharia em geral e o …

9 validation  sensitivity-analysis 

Estou desenvolvendo sistemas de negociação automatizados para o mercado de ações. O grande desafio tem sido excessivo. Você pode recomendar alguns recursos que descrevam métodos para medir e evitar ajustes excessivos? Comecei com conjuntos de treinamento / validação, mas o conjunto de validação sempre fica corrompido. Além disso, os dados …

9 time-series  machine-learning  dataset  data-mining  validation 

Estou tendo dificuldades para acessar a mesma página que meu supervisor quando se trata de validar meu modelo. Analisei os resíduos (observados em relação aos valores ajustados) e usei isso como argumento para discutir os resultados obtidos pelo meu modelo, no entanto, meu supervisor insiste que a única maneira de …

8 r  references  glmm  validation  glmmtmb