Estatísticas e Big Data

Estou trabalhando em um pequeno projeto em que estamos tentando prever os preços de commodities (petróleo, alumínio, estanho, etc.) nos próximos 6 meses. Eu tenho 12 variáveis ​​para prever e tenho dados de abril de 2008 a maio de 2013. Como devo fazer previsões? Eu fiz o seguinte: Dados importados …

13 r  time-series  forecasting  neural-networks  arima 

Digamos, é dependente de α . Rigorosamente falando,XXXαα\alpha se e α são variáveis ​​aleatórias, poderíamos escrever p ( X ∣ α ) ;XXXαα\alphap ( X∣ α )p(X∣α)p(X\mid\alpha) no entanto, se é uma variável aleatória e α é um parâmetro, temos que escrever p ( X ; α ) .XXXαα\alphap ( …

13 machine-learning  terminology 

Ao executar a regressão, se seguirmos a definição de: Qual é a diferença entre uma probabilidade parcial, uma probabilidade de perfil e uma probabilidade marginal? que, máxima verossimilhança encontre β e θ que maximize L (β, θ | dados). Enquanto, Probabilidade marginal Nós integramos θ da equação de probabilidade explorando …

13 regression  maximum-likelihood 

Estou procurando testar a cointegração entre duas séries temporais. Ambas as séries têm dados semanais que abrangem ~ 3 anos. Estou tentando fazer o método de duas etapas da Engle-Granger. Minha ordem de operações segue. Teste cada série temporal para obter a raiz da unidade através do Dickey-Fuller aumentado. Supondo …

13 time-series  cointegration  unit-root  augmented-dickey-fuller 

(Embora eu perceba que isso não é estritamente sobre estatística, trata-se da disseminação de estatísticas em um ambiente de negócios, por isso presumi que ainda esteja dentro do intervalo de tópicos do CV) Um breve histórico: Nosso ambiente de negócios (e suspeito que outros ambientes) tem uma função de suporte …

13 business-intelligence  consulting 

De acordo com Fritz, Morris e Richler (2011; veja abaixo), pode ser calculado como um tamanho de efeito para o teste U de Mann-Whitney usando a fórmula Isso é conveniente para eu, como relato também em outras ocasiões. Gostaria de relatar o intervalo de confiança para , além da medida …

13 confidence-interval  effect-size  wilcoxon-mann-whitney  spearman-rho 

É sabido que a eficiência relativa assintótica (ARE) do teste de classificação assinado de Wilcoxon é 3π≈0.9553π≈0.955\frac{3}{\pi} \approx 0.955comparado aotestetde Student, se os dados forem obtidos de uma população normalmente distribuída. Isso vale tanto para o teste básico de uma amostra quanto para a variante de duas amostras independentes (o …

13 nonparametric  wilcoxon-mann-whitney  asymptotics  efficiency  wilcoxon-signed-rank 

Eu gostaria de fazer um teste W de Shapiro Wilk e um teste Kolmogorov-Smirnov sobre os resíduos de um modelo linear para verificar a normalidade. Eu só estava me perguntando quais resíduos devem ser usados ​​para isso - os resíduos brutos, os resíduos de Pearson, resíduos estudantis ou resíduos padronizados? …

13 r  regression  residuals  normality-assumption  lm 

Aprendi nas estatísticas elementares que, com um modelo linear geral, para que as inferências sejam válidas, as observações devem ser independentes. Quando ocorre o agrupamento, a independência não pode mais ser mantida, levando a inferência inválida, a menos que isso seja explicado. Uma maneira de explicar esse cluster é usar …

13 r  mixed-model  inference  independence 

Cerca de 600 alunos têm uma pontuação em uma extensa avaliação, que pode ser assumida como tendo boa confiabilidade / validade. A avaliação é pontuada em 100 e é um teste de múltipla escolha marcado por computador. Esses 600 alunos também têm notas em uma segunda, menor parte da avaliação. …

13 agreement-statistics 

Como prejudico as séries temporais? Tudo bem fazer a primeira diferença e executar um teste Dickey Fuller; se estiver parado, estamos bem? Também achei on-line que posso prejudicar as séries temporais fazendo isso no Stata: reg lncredit time predict u_lncredit, residuals twoway line u_lncredit time dfuller u_lncredit, drift regress lags(0) …

13 regression  time-series  stata  stationarity 

Estou lendo um comentário em um artigo, e o autor afirma que, às vezes, mesmo que os estimadores (encontrados por ML ou quase-probabilidade máxima) possam não ser consistentes, o poder de um teste de razão de verossimilhança ou razão de quase-verossimilhança ainda pode convergir para 1 como o número de …

13 mathematical-statistics  references  inference  power  consistency 

Eu obtive um modelo de regressão logística (via train) para uma resposta binária e a matriz de confusão logística via confusionMatrixin caret. Isso me fornece a matriz de confusão do modelo logístico, embora não tenha certeza de qual limite está sendo usado para obtê-lo. Como obtenho a matriz de confusão …

13 r  classification  roc  caret  confusion-matrix 

Parece-me que a aprendizagem por conjuntos sempre oferecerá melhor desempenho preditivo do que com apenas uma única hipótese de aprendizagem. Então, por que não os usamos o tempo todo? Meu palpite é que talvez seja devido a limitações computacionais? (mesmo assim, usamos preditores fracos, então eu não sei).

13 boosting  ensemble  bagging 

Eu tenho dados sobre quantos usuários publicam quantas perguntas. Por exemplo, [UserCount, QuestionCount] [2, 100] [9, 10] [3, 80] ... ... Isso significa que 2 usuários postaram 100 perguntas, 9 usuários postaram 10 perguntas e assim por diante. Então, como posso determinar se a UserCount, QuestionCountdistribuição segue uma lei de …

13 r  hypothesis-testing  goodness-of-fit  power-law