Perguntas com a marcação «cross-validation»

Estou fazendo pré-processamento de dados e depois construindo um Convonets nos meus dados. Minha pergunta é: digamos que eu tenho um total de conjuntos de dados com 100 imagens, eu estava calculando a média para cada uma das 100 imagens e subtraí-la de cada uma das imagens, depois divida-a em …

11 machine-learning  cross-validation  data-preprocessing 

Estou usando o caretpacote no Rtreinamento de classificadores binários SVM. Para redução de recursos, estou pré-processando com o PCA usando o recurso incorporado preProc=c("pca")ao chamar train(). Aqui estão as minhas perguntas: Como o sinal de intercalação seleciona os principais componentes? Existe um número fixo de componentes principais que está selecionado? …

11 r  machine-learning  pca  cross-validation  caret 

Eu tenho uma regressão aleatória da floresta criada usando skl e observo que produzo resultados diferentes com base na definição da semente aleatória com valores diferentes. Se eu usar o LOOCV para estabelecer qual semente funciona melhor, esse é um método válido?

10 cross-validation  random-forest 

Ao ler o site, muitas respostas sugerem que a validação cruzada deve ser feita em algoritmos de aprendizado de máquina. No entanto, ao ler o livro "Entendendo o aprendizado de máquina", vi um exercício que às vezes é melhor não usar a validação cruzada. Estou realmente confuso. Quando o algoritmo …

10 machine-learning  self-study  cross-validation 

Estou tentando utilizar a regressão de RF para fazer previsões sobre o desempenho de uma fábrica de papel. Eu tenho dados minuto a minuto para as entradas (taxa e quantidade de polpa de madeira entrando etc ...), bem como para o desempenho da máquina (papel produzido, energia consumida pela máquina) …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

Eu estou querendo saber como abordar adequadamente o treinamento e o teste de um modelo LASSO usando glmnet no R? Especificamente, estou pensando em como fazer isso, se a falta de um conjunto de dados de teste externo exigir que eu use a validação cruzada (ou outra abordagem semelhante) para …

10 r  cross-validation  glmnet  lasso 

Entendo que a estimativa de validação cruzada do erro de teste com dobra k geralmente subestima o erro de teste real. Estou confuso por que esse é o caso. Entendo por que o erro de treinamento geralmente é menor que o erro de teste - porque você está treinando o …

10 cross-validation  bias 

Recentemente, comecei a usar a validação cruzada de amostras de importância suavizada Pareto (PSIS-LOO), descrita nestes documentos: Vehtari, A. e Gelman, A. (2015). Pareto suavizou a amostragem de importância. pré-impressão do arXiv ( link ). Vehtari, A., Gelman, A. e Gabry, J. (2016). Avaliação prática do modelo bayesiano usando validação …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Eu tenho alguns dados que existem em um gráfico . Os vértices pertencem a uma das duas classes e estou interessado em treinar um SVM para distinguir entre as duas classes. Um kernel apropriado para isso é o kernel de difusão , onde é o Laplaciano de e é um …

10 svm  cross-validation  kernel-trick  graph-theory 

Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o treinamento …

10 cross-validation  random-forest  overfitting  out-of-sample 

Suponha que eu tenha um tamanho pequeno de amostra, por exemplo, N = 100 e duas classes. Como devo escolher os tamanhos de treinamento, validação cruzada e conjunto de testes para aprendizado de máquina? Eu escolheria intuitivamente Tamanho do conjunto de treinamento como 50 Conjunto de validação cruzada tamanho 25 …

10 machine-learning  sampling  svm  cross-validation  sample-size 

Estive repensando uma resposta que dei a uma pergunta há algumas semanas A validação cruzada de retenção produz um único conjunto de testes que pode ser usado repetidamente para demonstração. Todos nós concordamos que isso é, de muitas maneiras, uma característica negativa, uma vez que o conjunto estendido pode se …

10 cross-validation 

Eu obtive três modelos reduzidos de um modelo completo original usando seleção para a frente eliminação para trás Técnica de penalização L1 (LASSO) Para os modelos obtidos usando seleção direta / eliminação reversa, obtive a estimativa validada cruzada do erro de previsão usando o CVlmpacote DAAGdisponível em R. Para o …

10 cross-validation  model-selection  lasso  stepwise-regression 

A seleção de recursos deve ser realizada apenas nos dados de treinamento (ou todos os dados)? Passei por algumas discussões e artigos como Guyon (2003) e Singhi e Liu (2006) , mas ainda não tenho certeza sobre a resposta certa. Minha configuração da experiência é a seguinte: Conjunto de dados: …

10 dataset  cross-validation  experiment-design  feature-selection 

Digamos que eu tenha dois métodos de aprendizado para um problema de classificação , e , e que estimo o desempenho da generalização com algo como validação cruzada repetida ou inicialização. A partir deste processo, recebo uma distribuição das pontuações P_A e P_B para cada método nessas repetições (por exemplo, …

10 cross-validation  model-selection