Estatísticas e Big Data

Tenho dados de preços mensais para uma mercadoria de 2007 a 2017. Você pode encontrá-los no seguinte link: https://drive.google.com/open?id=0BxRCOgKAL4itcUZlOExrUmVOanc Preciso prever usando o modelo ARIMA sazonal no R para a próxima ano. Quando estou usando a auto.arimafunção, ele me sugere o melhor modelo em ARIMA(0,1,1)vez de ARIMA(p,d,q)(P,D,Q)12. A parte sazonal …

7 time-series  mathematical-statistics  forecasting  arima 

Atualmente, estou estudando "Processos Gaussianos para Aprendizado de Máquina" e, no capítulo 3, eles afirmam que o posteriorp(y∗|X,y,x∗)p(y∗|X,y,x∗)p(y_*|X,\mathbf{y},\mathbf{x}_*) (eq. 3.10) e a variável latente posterior p(f∗|X,y,x∗)p(f∗|X,y,x∗)p(f_*|X,\mathbf{y},\mathbf{x}_*)(eq. 3.9) geralmente não pode ser resolvido analiticamente, devido às probabilidades sigmóides em (3.9) e à função sigmóide em (3.10). Para evitar que as pessoas …

7 machine-learning  classification  bayesian  gaussian-process 

Estou tentando investigar, usando a análise de componentes principais, se é possível adivinhar com boa confiança de qual população ("Aurignaciana" ou "Gravetiana") veio um novo ponto de dados. Um ponto de dados é descrito por 28 variáveis, a maioria das quais são frequências relativas de artefatos arqueológicos. As demais variáveis …

7 classification  pca  multivariate-analysis  feature-selection  archaeology 

Digamos que você treine dois modelos diferentes do Gradient Boosting Classifier em dois conjuntos de dados diferentes. Você usa a validação cruzada de exclusão única e plota os histogramas de previsões que os dois modelos produzem. Os histogramas são assim: e isto: Portanto, em um caso, as previsões (em conjuntos …

7 classification  cart  boosting  xgboost 

Em problemas de regressão, se a saída for discretizada em posições / categorias / clusters e usada como etiquetas, o modelo será reduzido a um modelo de classificação. Minha pergunta é: qual é a motivação teórica ou aplicada por trás dessa redução? Nas minhas experiências particulares em prever a localização …

7 regression  classification  categorical-data  continuous-data 

Segundo Karl Popper, apenas hipóteses falsificáveis ​​são verdadeiramente científicas (citando a Wikipedia ): nenhum número de resultados positivos no nível dos testes experimentais pode confirmar uma teoria científica, mas um único contra-exemplo é logicamente decisivo: mostra que a teoria, da qual a implicação é derivada, é falsa. De acordo com …

7 hypothesis-testing  bayesian  frequentist 

Ao ajudar alguém com suas análises, eu me deparei com uma pergunta sobre a diferença entre os testes t e os testes F para modelos lineares mistos no lme4 para R, conforme fornecido pelo lmerTest. Estou ciente dos problemas com o cálculo de qualquer tipo de valor-p para modelos lineares …

7 hypothesis-testing  mixed-model  t-test  lme4-nlme  f-test 

Suponha que tenhamos um conjunto de dados com milhões de linhas e milhares de colunas e a tarefa seja a classificação binária. Quando executamos um modelo de regressão logística, o desempenho é muito melhor que o esperado, por exemplo, classificação quase perfeita. Suspeitamos que existem algumas variáveis ​​de trapaça nos …

7 algorithms  linear  large-data  high-dimensional 

Em um artigo de revisão de 2013 na Nature Neuroscience, Button et al. Falha de energia: por que o tamanho pequeno da amostra prejudica a confiabilidade da neurociência , foi afirmado que: o poder estatístico médio dos estudos nas neurociências é muito baixo Eles procuraram por meta-análises, calcularam o poder …

7 p-value  meta-analysis  power  neuroscience  replicability 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Portanto, tenho um conjunto de Tweets com algumas colunas, como Data e o próprio Tweet, …

7 classification  python  data-preprocessing  keras 

Antecedentes: Imagine uma pizza cortada em 8 fatias. [ Em cada extremidade reta da fatia, insiro um ímã com polaridades opostas voltadas para fora. Se eu separar esses componentes, evitar sacudi-los e sacudi-los, eles deverão formar uma pizza cheia. Agora, se eu colocar uma fatia adicional (mesmas dimensões, 1/8 de …

7 r  confidence-interval  generalized-linear-model  multivariate-analysis  multinomial 

Estou tentando entender o processo de restaurante chinês (CRP) e o processo de restaurante chinês ponderado (WCRP) descrito em um artigo de pesquisa "Descoberta automática de habilidades cognitivas" - Robert V. Lindsey, Mohammad Khajah, Michael C. Mozer para melhorar a previsão de Aprendizagem do aluno. No CRP, todas as implementações …

7 clustering  nonparametric-bayes 

Estou lendo Por que o Momentum Really Works , um post do novo diário de destilação. Parafraseando as principais equações que levam à parte que me confunde, o post descreve a intuição em mais detalhes. O algoritmo de descida de gradiente é dado pelo seguinte processo iterativo wk+1=wk−α∇f(wk)wk+1=wk−α∇f(wk)w^{k+1} = w^k-\alpha …

7 machine-learning  optimization  deep-learning 

Como é possível obter taxas de aceitação de Metropolis-Hastings perto de 1 (por exemplo, ao explorar uma distribuição unimodal com uma distribuição de proposta normal com SD muito pequeno), após o término da gravação? Eu vejo isso nas minhas próprias cadeias de MCMC, mas não entendo como isso faz sentido. …

7 mcmc  metropolis-hastings 

Para uma apresentação, tenho que visualizar dados tridimensionais. Eu deveria visualizá-los no "estilo de um gráfico de dispersão". As primeiras idéias de maio foram Um gráfico de dispersão tridimensional Uma matriz de dispersão Redução de dimensionalidade (PCA) e, posteriormente, um gráfico de dispersão bidimensional Quais são as alternativas para esses …

7 r  data-visualization  scatterplot