Perguntas com a marcação «overfitting»

Existe uma definição matemática ou algorítmica de sobreajuste? As definições geralmente fornecidas são o gráfico 2-D clássico de pontos, com uma linha passando por cada ponto e a curva de perda de validação subindo subitamente. Mas existe uma definição matematicamente rigorosa?

18 mathematical-statistics  optimization  overfitting 

Se eu tiver dados e executar uma classificação (digamos floresta aleatória nesses dados) com validação cruzada (digamos 5 vezes), posso concluir que não há ajuste excessivo no meu método?

17 cross-validation  overfitting 

Embora os resultados do conjunto de testes privado não possam ser usados ​​para refinar ainda mais o modelo, a seleção de modelos não está sendo executada em um grande número de modelos com base nos resultados do conjunto de testes privados? Por esse processo, você não acabaria se adaptando ao …

16 model-selection  overfitting  out-of-sample 

Vamos considerar o problema de classificar o conjunto de dados MNIST. De acordo com a página MNIST da Yann LeCun , 'Ciresan et al.' obteve uma taxa de erro de 0,23% no conjunto de testes MNIST usando a Rede Neural Convolucional. Vamos denotar o treinamento MNIST definido como , o …

16 machine-learning  classification  overfitting  probability-inequalities 

Digamos que temos um modelo mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different …

16 mixed-model  lme4-nlme  overfitting  singular 

Eu sou relativamente novo em florestas aleatórias. No passado, sempre comparei a precisão do ajuste contra o teste contra o ajuste contra o trem para detectar qualquer ajuste excessivo. Mas acabei de ler aqui que: "Em florestas aleatórias, não há necessidade de validação cruzada ou de um conjunto de testes …

15 cross-validation  random-forest  overfitting 

Atualmente, estou ajustando florestas aleatórias para um problema de classificação usando o randomForestpacote em R e não tenho certeza sobre como relatar erros de treinamento para esses modelos. Meu erro de treinamento é próximo de 0% quando o computo usando as previsões que recebo com o comando: predict(model, data=X_train) Onde …

15 r  machine-learning  classification  random-forest  overfitting 

Eu já ouvi a seguinte expressão antes: "Otimização é a raiz de todo mal nas estatísticas". Por exemplo, a resposta principal neste tópico faz essa afirmação em referência ao perigo de otimizar de forma muito agressiva durante a seleção do modelo. Minha primeira pergunta é a seguinte: Essa citação é …

14 cross-validation  optimization  overfitting 

Quando você é quem faz o trabalho, tendo consciência do que está fazendo, desenvolve uma sensação de quando superajustou o modelo. Por um lado, você pode acompanhar a tendência ou deterioração no quadrado R ajustado do modelo. Também é possível rastrear uma deterioração semelhante nos valores de p dos coeficientes …

14 regression  multivariate-analysis  overfitting 

Minha principal pergunta é com relação à tentativa de entender como a validação cruzada k-fold se encaixa no contexto de ter conjuntos de treinamento / validação / teste (se é que se encaixa nesse contexto). Geralmente, as pessoas falam em dividir os dados em um conjunto de treinamento, validação e …

14 cross-validation  dataset  overfitting 

Na minha opinião, os dados de entrada correlacionados devem levar ao sobreajuste nas redes neurais, porque a rede aprende a correlação, por exemplo, ruído nos dados. Isso está correto?

13 correlation  neural-networks  overfitting 

Estou modelando 15000 tweets para previsão de sentimentos usando uma única camada LSTM com 128 unidades ocultas usando uma representação do tipo word2vec com 80 dimensões. Recebo uma precisão de descida (38% com aleatório = 20%) após 1 época. Mais treinamento faz com que a precisão da validação comece a …

13 deep-learning  regularization  overfitting  lstm 

Parece haver conselhos conflitantes por aí sobre como lidar com a comparação de erro de teste de trem versus teste, principalmente quando há uma lacuna entre os dois. Parece haver duas escolas de pensamento que, para mim, parecem conflitar. Estou procurando entender como conciliar os dois (ou entender o que …

13 cross-validation  overfitting 

Isso está próximo de uma questão filosófica, mas estou interessado em saber como outras pessoas com mais experiência pensam sobre seleção de distribuição. Em alguns casos, parece claro que a teoria pode funcionar melhor (os comprimentos da cauda dos ratos provavelmente são normalmente distribuídos). Em muitos casos, provavelmente não existe …

12 distributions  overfitting  heuristic 

No livro PRML de Bishop, ele diz que o excesso de ajuste é um problema com a estimativa de máxima verossimilhança (MLE), e o Bayesian pode evitá-lo. Mas eu acho que o super ajuste é um problema mais sobre a seleção de modelos, não sobre o método usado para fazer …

12 bayesian  model-selection  overfitting