Perguntas com a marcação «cross-validation»

Recentemente, encontrei várias fontes "informais" que indicam que, em algumas circunstâncias, se usarmos o AIC ou o BIC para treinar um modelo de série temporal, não precisaremos dividir os dados em teste e treinamento - podemos usar todos os dados para treinamento. (As fontes incluem, entre outras, uma discussão no …

8 time-series  cross-validation  aic  train  bic 

Em geral, se tivermos um grande conjunto de dados, podemos dividi-lo em (1) treinamento, (2) validação e (3) teste. Usamos a validação para identificar os melhores hiperparâmetros na validação cruzada (por exemplo, C no SVM) e, em seguida, treinamos o modelo usando os melhores hiperparâmetros com o conjunto de treinamento …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

Eu executei o laço e, em seguida, validação cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Quando plogo cv, obtenho o seguinte: Notei também que recebo 2 lambdas diferentes: lambda.minelambda.1se Qual é a diferença entre essas lambdas? O que posso entender da plotagem acima em geral (sobre o que são esses intervalos …

8 r  cross-validation  interpretation  lasso 

Atualmente, estou usando a parada antecipada no meu trabalho para evitar o excesso de ajuste. Especificamente, aqueles tomados em forma de parada antecipada, mas quando? . Agora estou querendo comparar com outros algoritmos de classificação, onde parece que a validação cruzada de 10 vezes é amplamente usada. No entanto, estou …

8 cross-validation  overfitting 

Quando uso modelos de regressão, sinto desconfiança por não adotar uma premissa de associação linear; em vez disso, gosto de explorar a forma funcional das relações entre variáveis ​​dependentes e explicativas usando regressão de suavização não paramétrica (por exemplo , modelos aditivos generalizados , lowess / lowess , smoothers de …

8 cross-validation  nonparametric-regression 

Nesta página da Wikipedia , na subseção para validação cruzada com dobras K, diz "Na validação cruzada com dobras k, a amostra original é dividida aleatoriamente em k subamostras de tamanho igual. Das k subamostras, uma única subamostra é retida como dados de validação para testando o modelo, e as …

8 cross-validation 

Meu livro sobre validação cruzada é The Elements of Statistical Learning, de Hastie et al. (2ª ed.). Nas seções 7.10.1 e 7.12, eles falam sobre a diferença entre erro teste condicional e espera erro de teste E τ [ E ( X * , Y * ) [ G ( …

8 cross-validation  definition 

Eu tenho um conjunto de dados pequeno e desequilibrado (70 positivo, 30 negativo) e ando brincando com a seleção de modelos para parâmetros SVM usando BAC (precisão balanceada) e AUC (área sob a curva). Usei pesos de classe diferentes para o parâmetro C no libSVM para compensar os dados desequilibrados, …

8 svm  cross-validation  model-selection  auc 

Eu tenho um problema de regressão com 5-6k variáveis. Divido meus dados em três conjuntos não sobrepostos: treinamento, validação e teste. Treino usando apenas o conjunto de treinamento e gere muitos modelos diferentes de regressão linear escolhendo um conjunto diferente de 200 variáveis ​​para cada modelo (eu tento cerca de …

8 regression  cross-validation  model-selection  r-squared  overfitting 

Li que a validação cruzada de deixar um fora fornece uma “estimativa imparcial do verdadeiro desempenho da generalização” (por exemplo, aqui ) e que essa é uma propriedade vantajosa do CV de deixar um fora. No entanto, não vejo como isso decorre das propriedades do CV individual. Por que o …

8 cross-validation  model-selection  bias 

Temos um pequeno conjunto de dados (cerca de 250 amostras * 100 recursos) no qual queremos criar um classificador binário após selecionar o melhor subconjunto de recursos. Digamos que particionemos os dados em: Treinamento, Validação e Teste Para a seleção de recursos, aplicamos um modelo de wrapper com base na …

8 machine-learning  cross-validation  feature-selection  train 

Li algumas das postagens sobre seleção de recursos e validação cruzada, mas ainda tenho dúvidas sobre o procedimento correto. Suponha que eu tenha um conjunto de dados com 10 recursos e desejo selecionar os melhores. Suponha também que estou usando um classificador de vizinho mais próximo. Posso executar uma pesquisa …

8 cross-validation  model-selection  feature-selection 

Introdução objetivo é prever as taxas de crescimento anual para vários indicadores macroeconômicos (denotar um por ). Uma das tarefas é testar o desempenho da previsão de modelos de séries temporais rivais com e sem variáveis ​​exógenas ( , uma matriz ). A lista de modelos rivais inclui:X t T …

8 r  regression  time-series  cross-validation  forecasting 

Minha pergunta é sobre validação cruzada quando há muito mais variáveis ​​que observações. Para fixar idéias, proponho restringir a estrutura de classificação em uma dimensão muito alta (mais recursos do que observação). Problema: Suponha que, para cada variável , você tenha uma medida de importância T [ i ] do …

8 machine-learning  classification  cross-validation 

Estou usando a regressão de vetores de suporte para modelar alguns dados bastante distorcidos (com alta curtose). Eu tentei modelar os dados diretamente, mas estou recebendo previsões errôneas, principalmente devido à distribuição dos dados, que é distorcida com caudas muito grossas. Tenho certeza de que alguns discrepantes (que são pontos …

8 machine-learning  svm  cross-validation  predictive-models  outliers