Estatísticas e Big Data predictive-models

5

A análise exploratória de dados é importante ao fazer modelagem puramente preditiva?

Ao construir um modelo preditivo usando técnicas de aprendizado de máquina, qual é o sentido de fazer uma análise exploratória de dados (EDA)? Não há problema em ir direto à geração de recursos e à construção de seus modelos? Como as estatísticas descritivas usadas na EDA são importantes?

23 machine-learning predictive-models descriptive-statistics eda

1

Explicação do que Nate Silver disse sobre loess

Em uma pergunta que fiz recentemente , me disseram que era um grande "não-não" extrapolar com loess. Mas, no artigo mais recente de Nate Silver no FiveThirtyEight.com, ele discutiu o uso do loess para fazer previsões de eleições. Ele estava discutindo as especificidades de previsões agressivas versus conservadoras com loess, …

23 time-series forecasting predictive-models loess politics

3

Visualização da calibração da probabilidade prevista de um modelo

Suponha que eu tenha um modelo preditivo que produz, para cada instância, uma probabilidade para cada classe. Agora reconheço que existem muitas maneiras de avaliar esse modelo se eu quiser usar essas probabilidades para classificação (precisão, recall, etc.). Também reconheço que uma curva ROC e a área sob ela podem …

23 data-visualization classification predictive-models binary-data calibration

3

Sites para competições de modelagem preditiva

Participo de competições de modelagem preditiva no Kaggle , TunedIt e CrowdAnalytix . Acho que esses sites são uma boa maneira de se exercitar para estatísticas / aprendizado de máquina. Existem outros sites que eu deva conhecer? Como vocês se sentem sobre as competições em que o anfitrião pretende lucrar …

23 machine-learning predictive-models

2

Modelos generativos versus discriminativos (no contexto bayesiano)

Quais são as diferenças entre os modelos generativo e discriminativo (discriminante) (no contexto da aprendizagem e inferência bayesiana)? e o que diz respeito à previsão, teoria da decisão ou aprendizado não supervisionado?

22 bayesian predictive-models unsupervised-learning

3

Como prever resultados apenas com casos positivos como treinamento?

Por uma questão de simplicidade, digamos que estou trabalhando no exemplo clássico de emails de spam / não spam. Eu tenho um conjunto de 20000 e-mails. Destas, sei que 2000 são spam, mas não tenho nenhum exemplo de email que não seja spam. Eu gostaria de prever se os 18000 …

21 machine-learning predictive-models unsupervised-learning supervised-learning semi-supervised

2

Técnicas de aumento de dados para conjuntos de dados gerais?

Em muitas aplicações de aprendizado de máquina, os chamados métodos de aumento de dados permitiram construir modelos melhores. Por exemplo, assuma um conjunto de treinamento de imagens de cães e gatos. Girando, espelhando, ajustando o contraste, etc., é possível gerar imagens adicionais a partir das originais.100100100 No caso de imagens, …

21 machine-learning predictive-models dataset independence data-augmentation

2

Função "Interessante" para perguntas do StackExchange

Esta pergunta foi migrada do Mathematics Stack Exchange porque pode ser respondida em Validação cruzada. Migrou há 8 anos . Estou tentando montar um pacote de mineração de dados para sites StackExchange e, em particular, estou tentando determinar as perguntas "mais interessantes". Gostaria de usar a pontuação da pergunta, mas …

20 data-mining predictive-models

2

Pensamento bayesiano sobre superajuste

Dediquei muito tempo ao desenvolvimento de métodos e softwares para validar modelos preditivos no domínio estatístico freqüentista tradicional. Ao colocar mais idéias bayesianas em prática e ensinar, vejo algumas diferenças importantes a serem adotadas. Primeiro, a modelagem preditiva bayesiana pede ao analista que pense muito sobre distribuições anteriores que podem …

20 bayesian cross-validation predictive-models validation regression-strategies

2

Impulsionar: por que a taxa de aprendizado é chamada de parâmetro de regularização?

O parâmetro de taxa de aprendizado ( ) no Gradient Boosting reduz a contribuição de cada novo modelo de base - tipicamente uma árvore rasa - que é adicionada na série. Foi demonstrado que aumenta drasticamente a precisão do conjunto de testes, o que é compreensível, pois em etapas menores, …

19 machine-learning data-mining predictive-models boosting overfitting

1

Modelagem preditiva - devemos nos preocupar com modelagem mista?

Para modelagem preditiva, precisamos nos preocupar com conceitos estatísticos, como efeitos aleatórios e não independência de observações (medidas repetidas)? Por exemplo.... Eu tenho dados de 5 campanhas de mala direta (ocorridas ao longo de um ano) com vários atributos e um sinalizador para compra. Idealmente, eu usaria todos esses dados …

19 machine-learning predictive-models repeated-measures assumptions

2

Como prever quando o próximo evento ocorre, com base nos horários dos eventos anteriores?

Sou estudante do ensino médio e estou trabalhando em um projeto de programação de computadores, mas não tenho muita experiência em estatística e modelagem de dados além de um curso de estatística do ensino médio, por isso estou meio confuso. Basicamente, tenho uma lista razoavelmente grande (suponha que seja grande …

19 probability modeling data-mining predictive-models

4

Determinando a função de ajuste da curva de melhor ajuste a partir das funções linear, exponencial e logarítmica

Contexto: De uma pergunta no Mathematics Stack Exchange (Posso criar um programa) , alguém possui um conjunto de pontos e deseja ajustar uma curva linear, exponencial ou logarítmica. O método usual é começar escolhendo um destes (que especifica o modelo) e, em seguida, faça os cálculos estatísticos.x - yx-yx-y Mas …

18 regression predictive-models model-selection curve-fitting

3

Obtendo uma fórmula para limites de previsão em um modelo linear (ou seja: intervalos de previsão)

Vamos dar o seguinte exemplo: set.seed(342) x1 <- runif(100) x2 <- runif(100) y <- x1+x2 + 2*x1*x2 + rnorm(100) fit <- lm(y~x1*x2) Isso cria um modelo de y com base em x1 e x2, usando uma regressão OLS. Se quisermos prever y para um dado x_vec, podemos simplesmente usar a …

18 r regression predictive-models prediction-interval

1

AIC Stepwise - Existe controvérsia em torno deste tópico?

Eu li inúmeras publicações neste site que são incrivelmente contra o uso de seleção gradual de variáveis usando qualquer tipo de critério, seja com base em valores-p, AIC, BIC, etc. Entendo por que esses procedimentos são, em geral, muito ruins para a seleção de variáveis. o post provavelmente famoso de …

17 forecasting predictive-models arima aic stepwise-regression

Perguntas com a marcação «predictive-models»