Perguntas com a marcação «cross-validation»

O AIC e o BIC são os dois métodos de avaliação do ajuste do modelo penalizados pelo número de parâmetros estimados. Pelo que entendi, o BIC penaliza mais os modelos por parâmetros livres do que o AIC. Além de uma preferência baseada no rigor dos critérios, existem outros motivos para …

222 modeling  aic  cross-validation  bic  model-selection 

Eu estou querendo saber como escolher um modelo preditivo depois de fazer a validação cruzada K-fold. Isso pode ser redigido de maneira desajeitada, então deixe-me explicar com mais detalhes: sempre que executo a validação cruzada K-fold, uso K subconjuntos dos dados de treinamento e termino com K modelos diferentes. Gostaria …

149 cross-validation  model-selection 

É sempre uma boa ideia treinar com o conjunto de dados completo após a validação cruzada ? Dito de outra forma, é correto treinar com todas as amostras no meu conjunto de dados e não poder verificar se esse acessório específico se encaixa demais ? Alguns antecedentes sobre o problema: …

140 machine-learning  cross-validation  model-selection 

Eu tenho usado o KKK validação cruzada fold algumas vezes agora para avaliar o desempenho de alguns algoritmos de aprendizagem, mas eu sempre fui intrigado a respeito de como eu deveria escolher o valor de KKK . Eu sempre vi e usei um valor de K= 10K=10K = 10 , …

136 machine-learning  classification  cross-validation 

Gostaria que seus pensamentos sobre as diferenças entre validação cruzada e bootstrapping estimassem o erro de previsão. Funciona melhor para tamanhos de conjuntos de dados pequenos ou grandes?

103 cross-validation  predictive-models  bootstrap 

Como alguém pode usar validação cruzada aninhada para seleção de modelo ? Pelo que li online, o CV aninhado funciona da seguinte maneira: Existe o loop interno do CV, no qual podemos realizar uma pesquisa na grade (por exemplo, executando a dobra K para todos os modelos disponíveis, por exemplo, …

91 cross-validation  model-selection 

Como os diferentes métodos de validação cruzada se comparam em termos de variação e tendência do modelo? Minha pergunta é parcialmente motivada por este tópico: Número ideal de dobras na validação cruzada fold : o CV de deixar um fora é sempre a melhor escolha? KKK. A resposta sugere que …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Como você descreveria a validação cruzada para alguém sem experiência em análise de dados?

77 cross-validation 

Recentemente, tenho lido muito neste site (@Aniko, @Dikran Marsupial, @Erik) e em outros lugares sobre o problema de sobreajuste que ocorre com a validação cruzada - (Smialowski et al. 2010 Bioinformatics, Hastie, Elements of statistics learning). A sugestão é que qualquer seleção de recurso supervisionado (usando correlação com rótulos de …

76 cross-validation  feature-selection 

Estou ficando um pouco confuso sobre a seleção de recursos e o aprendizado de máquina e fiquei imaginando se você poderia me ajudar. Eu tenho um conjunto de dados de microarray que é classificado em dois grupos e possui milhares de recursos. Meu objetivo é obter um pequeno número de …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

Pergunta: Quero ter certeza de alguma coisa, o uso da validação cruzada k-fold com séries temporais é direto ou é necessário prestar atenção especial antes de usá-lo? Antecedentes: estou modelando uma série temporal de 6 anos (com cadeia semi-markov), com uma amostra de dados a cada 5 minutos. Para comparar …

70 time-series  modeling  cross-validation 

Qual é a estratégia apropriada para dividir o conjunto de dados? I pedir feedback sobre a abordagem seguinte (não sobre os parâmetros individuais como test_sizeou n_iter, mas se eu usasse X, y, X_train, y_train, X_test, e y_testde forma adequada e se a sequência faz sentido): (estendendo este exemplo da documentação …

70 machine-learning  cross-validation  python  scikit-learn 

Eu tenho dados de desequilíbrio de classe e quero ajustar os hiperparâmetros da trança impulsionada usando xgboost. Questões Existe um equivalente de gridsearchcv ou randomsearchcv para xgboost? Caso contrário, qual é a abordagem recomendada para ajustar os parâmetros do xgboost?

68 machine-learning  cross-validation  xgboost  boosting 

Suponha que tenhamos alguém construindo um modelo preditivo, mas que alguém não seja necessariamente versado em princípios estatísticos ou de aprendizado de máquina adequados. Talvez estejamos ajudando essa pessoa enquanto ela está aprendendo, ou talvez essa pessoa esteja usando algum tipo de pacote de software que requer conhecimento mínimo para …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Encontrei duas perguntas aqui e aqui sobre esse problema, mas ainda não há uma resposta ou explicação óbvia. Eu imponho o mesmo problema em que o erro de validação é menor que o erro de treinamento na minha Rede Neural de Convolução. O que isso significa?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation