Perguntas com a marcação «cross-validation»

Na discussão: como gerar uma curva roc para classificação binária , acho que a confusão foi que um "classificador binário" (que é qualquer classificador que separa duas classes) foi para Yang o que é chamado de "classificador discreto" (que produz saídas discretas 0/1 como um SVM) e não saídas contínuas …

25 cross-validation  roc  auc 

Eu tenho alguns dados e quero construir um modelo (por exemplo, um modelo de regressão linear) a partir desses dados. Em uma próxima etapa, quero aplicar a validação cruzada de uma saída para fora (LOOCV) no modelo para ver o desempenho. Se entendi direito o LOOCV, construo um novo modelo …

25 cross-validation 

Estou fazendo validação cruzada aninhada. Li que a validação cruzada de exclusão única pode ser tendenciosa (não lembro o porquê). É melhor usar a validação cruzada 10 vezes ou a validação cruzada de exclusão única, além do tempo de execução mais longo para a validação cruzada de exclusão única?

25 machine-learning  cross-validation 

Qual é o método de amostragem mais apropriado para avaliar o desempenho de um classificador em um conjunto de dados específico e compará-lo com outros classificadores? A validação cruzada parece ser uma prática padrão, mas li que métodos como o .632 bootstrap são uma opção melhor. Como acompanhamento: A escolha …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

Estou procurando uma referência ao artigo em que a validação cruzada da dobra k foi introduzida (em vez de apenas uma boa referência acadêmica para o assunto). Talvez esteja muito longe nas brumas do tempo identificar inequivocamente o primeiro artigo, de modo que qualquer artigo inicial em que a idéia …

24 cross-validation  references 

Entendo qual o papel do lambda em uma regressão com rede elástica. E eu posso entender por que alguém selecionaria lambda.min, o valor de lambda que minimiza o erro validado cruzado. Minha pergunta é: Onde na literatura estatística é recomendado usar lambda.1se, que é o valor de lambda que minimiza …

24 regression  cross-validation  regularization  glmnet  elastic-net 

Encontrei definições possivelmente conflitantes para a estatística de validação cruzada (CV) e para a estatística de validação cruzada generalizada (GCV) associada a um modelo linear (com um vetor de erro normal e homoscedástico \ símbolo de negrito \ varepsilon ).Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilonεε\boldsymbol\varepsilon Por um lado, Golub, Heath & …

23 cross-validation 

Hoje de manhã acordei pensando (isso pode ser devido ao fato de que ontem à noite não dormi muito): como a validação cruzada parece ser a pedra angular da previsão adequada de séries temporais, quais são os modelos que eu deveria "normalmente" "validar cruzadamente contra? Eu vim com alguns (fáceis), …

23 time-series  cross-validation  arima 

Estou interessado na seleção de modelos em uma configuração de série temporal. Por concretude, suponha que eu queira selecionar um modelo ARMA de um conjunto de modelos ARMA com diferentes ordens de atraso. A intenção final é a previsão . A seleção do modelo pode ser feita por validação cruzada, …

23 time-series  forecasting  cross-validation  model-selection  aic 

Eu li muitos artigos de pesquisa sobre classificação de sentimentos e tópicos relacionados. A maioria deles usa validação cruzada de 10 vezes para treinar e testar classificadores. Isso significa que nenhum teste / validação separado é feito. Por que é que? Quais são as vantagens / desvantagens dessa abordagem, especialmente …

23 classification  cross-validation 

Introdução: Eu tenho um conjunto de dados com um clássico "grande p, pequeno n problema". O número de amostras disponíveis n = 150, enquanto o número de possíveis preditores p = 400. O resultado é uma variável contínua. Eu quero encontrar os descritores mais "importantes", ou seja, aqueles que são …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

Como os modelos de efeitos mistos (lineares) são normalmente comparados entre si? Eu sei que testes de razão de verossimilhança podem ser usados, mas isso não funciona se um modelo não for um 'subconjunto' do outro correto? A estimativa dos modelos df é sempre direta? Número de efeitos fixos + …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

Ao tentar selecionar entre vários modelos ou o número de recursos a serem incluídos, digamos previsão, posso pensar em duas abordagens. Divida os dados em conjuntos de treinamento e teste. Melhor ainda, use bootstrapping ou validação cruzada k-fold. Treine sempre no conjunto de treinamento e calcule o erro sobre o …

22 bayesian  model-selection  cross-validation  feature-selection 

Tenho dados históricos de vendas de uma padaria (diariamente, mais de 3 anos). Agora, quero criar um modelo para prever vendas futuras (usando recursos como dia da semana, variáveis ​​climáticas, etc.). Como devo dividir o conjunto de dados para ajustar e avaliar os modelos? Precisa ser uma divisão cronológica de …

22 cross-validation  partitioning 

Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) …

22 machine-learning  cross-validation  glmnet  elastic-net