Perguntas com a marcação «out-of-sample»

Suponha que tenhamos alguém construindo um modelo preditivo, mas que alguém não seja necessariamente versado em princípios estatísticos ou de aprendizado de máquina adequados. Talvez estejamos ajudando essa pessoa enquanto ela está aprendendo, ou talvez essa pessoa esteja usando algum tipo de pacote de software que requer conhecimento mínimo para …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

A ideia da análise adaptativa dos dados é que você altere seu plano para analisar os dados à medida que aprende mais sobre eles. No caso da análise exploratória de dados (EDA), geralmente é uma boa ideia (você geralmente procura padrões imprevistos nos dados), mas, para um estudo confirmatório, isso …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

O trecho a seguir é do Hedge Fund Market Wizzards da Schwager (maio de 2012), uma entrevista com o sempre bem-sucedido gerente de fundos de hedge Jaffray Woodriff: Para a pergunta: "Quais são alguns dos piores erros que as pessoas cometem na mineração de dados?": Muitas pessoas pensam que estão …

21 data-mining  curve-fitting  out-of-sample 

Eu tenho lido sobre a validação do k-fold e quero ter certeza de que entendi como isso funciona. Eu sei que, para o método de validação, os dados são divididos em três conjuntos, e o conjunto de teste é usado apenas no final para avaliar o desempenho do modelo, enquanto …

21 cross-validation  validation  out-of-sample 

Embora os resultados do conjunto de testes privado não possam ser usados ​​para refinar ainda mais o modelo, a seleção de modelos não está sendo executada em um grande número de modelos com base nos resultados do conjunto de testes privados? Por esse processo, você não acabaria se adaptando ao …

16 model-selection  overfitting  out-of-sample 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 2 anos . Atualmente, estou seguindo um programa de mestrado focado em estatística …

14 machine-learning  forecasting  predictive-models  prediction  out-of-sample 

Na minha exposição em sala de aula à mineração de dados, o método de validação foi introduzido como uma maneira de avaliar o desempenho do modelo. No entanto, quando fiz minha primeira aula sobre modelos lineares, isso não foi introduzido como um meio de validação ou avaliação de modelo. Minha …

12 regression  validation  model-evaluation  out-of-sample 

Existe uma diferença explícita entre previsões dentro da amostra e previsões pseudo fora da amostra . Ambos se destinam ao contexto de avaliação e comparação de modelos de previsão.

12 forecasting  model-comparison  out-of-sample  in-sample 

Eu tenho um conjunto de dados com 26 recursos e 31000 linhas. É o conjunto de dados de 38 indivíduos. É para um sistema biométrico. Então, eu quero ser capaz de identificar assuntos. Para ter um conjunto de testes, eu sei que tenho que remover alguns valores. Então, o que …

11 machine-learning  cross-validation  out-of-sample 

Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o treinamento …

10 cross-validation  random-forest  overfitting  out-of-sample 

Eu tenho uma pergunta que acho que será bastante básica para muitos usuários. Estou usando modelos de regressão linear para (i) investigar a relação de várias variáveis ​​explicativas e minha variável de resposta e (ii) prever minha variável de resposta usando as variáveis ​​explicativas. Uma variável explicativa X específica parece …

10 statistical-significance  predictive-models  p-value  prediction  out-of-sample 

Sei que isso provavelmente já foi discutido em outro lugar, mas não consegui encontrar uma resposta explícita. Estou tentando usar a fórmula para calcular fora da amostra de um modelo de regressão linear, em que é a soma dos resíduos quadrados e é a soma total dos quadrados. Para o …

10 regression  machine-learning  r-squared  out-of-sample 

Eu sempre subscrevi a sabedoria popular de que diminuir a taxa de aprendizado em um gbm (modelo de árvore com gradiente aumentado) não prejudica o desempenho fora da amostra do modelo. Hoje não tenho tanta certeza. Estou ajustando modelos (minimizando a soma dos erros ao quadrado) no conjunto de dados …

8 machine-learning  boosting  out-of-sample 

Esta pergunta já tem respostas aqui : Meu modelo é bom, com base no valor da métrica de diagnóstico ( / AUC / precisão / RMSE etc.)? R2R2R^2 (3 respostas) Fechado há 7 meses . Eu tenho dados de aprendizagem que consistem em ~ 45k amostras, cada uma com 21 …

8 classification  random-forest  out-of-sample