Estatísticas e Big Data

Recentemente, houve uma pergunta semelhante ao ML na troca de pilha de teoria, e eu postei uma resposta recomendando o método de Powell, descida de gradiente, algoritmos genéticos ou outros "algoritmos de aproximação". Em um comentário, alguém me disse que esses métodos eram "heurísticos" e não "algoritmos de aproximação" e …

23 machine-learning  optimization  approximation 

Estou lendo "The Drunkard's Walk" agora e não consigo entender uma história. Aqui vai: Imagine que George Lucas faça um novo filme de Guerra nas Estrelas e, em um mercado de testes, decida realizar um experimento maluco. Ele lança o filme idêntico sob dois títulos: "Guerra nas Estrelas: Episódio A" …

23 probability  bernoulli-distribution 

Hoje de manhã acordei pensando (isso pode ser devido ao fato de que ontem à noite não dormi muito): como a validação cruzada parece ser a pedra angular da previsão adequada de séries temporais, quais são os modelos que eu deveria "normalmente" "validar cruzadamente contra? Eu vim com alguns (fáceis), …

23 time-series  cross-validation  arima 

Qual é a diferença semântica entre Mean Squared Error (MSE) e Mean Squared Prediction Error (MSPE)?

23 regression  estimation  interpretation  error  prediction 

Estou usando o JMP para examinar as diferenças na cobertura vegetal em grupos de formas de crescimento (árvores, arbustos, arbustos, etc.) antes e depois de três tratamentos com controle. O tamanho da minha amostra é pequeno (n = 5) e a maioria das minhas distribuições não é normalmente distribuída. Para …

23 multiple-comparisons  nonparametric  tukey-hsd 

Suponha que eu tenha um modelo preditivo que produz, para cada instância, uma probabilidade para cada classe. Agora reconheço que existem muitas maneiras de avaliar esse modelo se eu quiser usar essas probabilidades para classificação (precisão, recall, etc.). Também reconheço que uma curva ROC e a área sob ela podem …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Se eu tiver uma amostra de amostra normal multivariada X1,…,Xn∼Np(μ,Σ)X1,…,Xn∼Np(μ,Σ)X_1, \ldots, X_n \sim N_p(\mu,\Sigma) e definir d2i(b,A)=(Xi−b)′A−1(Xi−b)di2(b,A)=(Xi−b)′A−1(Xi−b)d_i^2(b,A) = (X_i - b)' A^{-1} (X_i - b) (que é uma distância de Mahalanobis [ao quadrado] de um ponto de amostra ao vetor aaa usando a matriz para ponderação),AAAqual é a distribuição de …

23 multivariate-analysis  outliers 

Gostaria de saber se há sempre um maximizador para qualquer problema de estimativa de máxima (log-) probabilidade? Em outras palavras, existe alguma distribuição e alguns de seus parâmetros, para os quais o problema do MLE não possui um maximizador? Minha pergunta vem de uma afirmação de um engenheiro de que …

23 maximum-likelihood  optimization 

Eu tenho uma matriz com duas colunas que têm muitos preços (750). Na imagem abaixo, plotei os resíduos da seguinte regressão linear: lm(prices[,1] ~ prices[,2]) Olhando para a imagem, parece ser uma autocorrelação muito forte dos resíduos. No entanto, como posso testar se a autocorrelação desses resíduos é forte? Que …

23 r  regression  correlation  autocorrelation 

Como a ciência deve ser reproduzível, por definição, há um reconhecimento crescente de que dados e código são um componente essencial da reprodutibilidade, conforme discutido na Mesa Redonda de Yale para compartilhamento de dados e código . Ao revisar um manuscrito para um periódico que não requer compartilhamento de dados …

23 dataset  validation  reproducible-research  journals 

Participo de competições de modelagem preditiva no Kaggle , TunedIt e CrowdAnalytix . Acho que esses sites são uma boa maneira de se exercitar para estatísticas / aprendizado de máquina. Existem outros sites que eu deva conhecer? Como vocês se sentem sobre as competições em que o anfitrião pretende lucrar …

23 machine-learning  predictive-models 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado no ano passado . Estou procurando informações sobre como os outros organizam seus códigos e saídas R. Minha prática …

23 r  project-management 

Ao pesquisar séries temporais em R, descobri que arima fornece apenas os valores do coeficiente e seus erros padrão do modelo ajustado. No entanto, também quero obter o valor p dos coeficientes. Não encontrei nenhuma função que forneça o significado do coef. Então, eu quero calcular isso sozinho, mas não …

23 r  time-series  chi-squared  arima  parametric 

Estou executando várias análises de regressão e não tenho certeza se os valores discrepantes nos meus dados devem ser excluídos. Os dados que me preocupam aparecem como "círculos" nos boxplots do SPSS, no entanto, não existem asteriscos (o que me faz pensar que eles não são "tão ruins"). Os casos …

23 regression  outliers 

Alguém tem um bom exemplo para Previsão / suavização de séries temporais usando o Kalman Filter no R?

23 r  time-series  kalman-filter