Estatísticas e Big Data

Estou ajustando um modelo ARIMA em uma série temporal diária. Os dados são coletados diariamente de 02-01-2010 a 30-07-2011 e são sobre vendas de jornais. Como um padrão semanal de vendas pode ser encontrado (a quantidade média diária de cópias vendidas é geralmente a mesma de segunda a sexta-feira e …

21 r  time-series  arima  seasonality 

Contexto Uma pergunta popular neste site é " O que são pecados estatísticos comuns? ". Um dos pecados mencionado está assumindo que "correlação implica causalidade ..." ligação Então, nos comentários com 5 votos positivos, sugere-se que: "O Google ganha US $ 65 bilhões por ano sem se importar com a …

21 machine-learning  causality 

Esta pergunta foi migrada do Stack Overflow porque pode ser respondida em Validação cruzada. Migrou há 8 anos . Eu tenho 2 variáveis, ambas da classe "numérico": > head(y) [1] 0.4651804 0.6185849 0.3766175 0.5489810 0.3695258 0.4002567 > head(x) [1] 59.32820 68.46436 80.76974 132.90824 216.75995 153.25551 Plotei-os e agora gostaria de …

21 r 

Quase todo exemplo de árvore de decisão que encontrei é uma árvore binária. Isso é praticamente universal? A maioria dos algoritmos padrão (C4.5, CART etc.) suporta apenas árvores binárias? Pelo que entendi, CHAID não se limita a árvores binárias, mas isso parece ser uma exceção. Uma divisão bidirecional seguida por …

21 machine-learning  data-mining  cart 

Suponha . Estou interessado na distribuição marginal dos elementos diagonais diag ( X ) = ( x 11 , … , x p p ) . Existem alguns resultados simples na distribuição de submatrizes de X (pelo menos alguns listados na Wikipedia). A partir disso, posso descobrir que a distribuição …

21 distributions  probability  pdf 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Alguém poderia oferecer algumas dicas sobre como usar o weightsargumento na lmfunção de R ? Digamos, por exemplo, você estava …

21 r  regression 

Uma regressão de Poisson é um GLM com uma função de log-link. Uma maneira alternativa de modelar dados de contagem distribuídos de maneira não-normal é pré-processar usando o log (ou melhor, log (1 + count) para manipular zeros). Se você fizer uma regressão de mínimos quadrados nas respostas de contagem …

21 regression  poisson-distribution  generalized-linear-model 

Estou interessado em aprender mais sobre técnicas bayesianas não paramétricas (e relacionadas). Minha formação é em ciência da computação e, embora eu nunca tenha feito um curso sobre teoria das medidas ou teoria das probabilidades, tive uma quantidade limitada de treinamento formal em probabilidade e estatística. Alguém pode recomendar uma …

21 probability  bayesian  references  theory 

Em Modelagem Estatística: As Duas Culturas Leo Breiman escreve A prática atual aplicada é verificar o ajuste do modelo de dados usando testes de ajuste de qualidade e análise residual. Em um ponto, alguns anos atrás, montei um problema de regressão simulado em sete dimensões com uma quantidade controlada de …

21 regression  goodness-of-fit 

Nota: O caso é n >> p Estou lendo Elementos de aprendizagem estatística e há várias menções sobre a maneira "correta" de fazer a validação cruzada (por exemplo, página 60, página 245). Especificamente, minha pergunta é como avaliar o modelo final (sem um conjunto de testes separado) usando o CV …

21 machine-learning  model-selection  data-mining  cross-validation 

Qual é a relação entre estimador e estimativa?

21 estimation  terminology  estimators 

Eu tenho usado distribuições normais de log como distribuições anteriores para parâmetros de escala (para distribuições normais, t distribuições etc.) quando tenho uma idéia aproximada sobre qual deve ser a escala, mas quero errar ao dizer que não sei muito sobre isso. Eu o uso porque esse uso faz sentido …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Preciso implementar um programa que classifique os registros em duas categorias (verdadeiro / falso), com base em alguns dados de treinamento, e fiquei pensando em qual algoritmo / metodologia eu deveria estar olhando. Parece haver muitos deles para escolher - Rede Neural Artificial, Algoritmo Genético, Aprendizado de Máquina, Otimização Bayesiana …

21 machine-learning  bayesian  optimization  genetic-algorithms 

O SPSS fornece a saída "intervalo de confiança da diferença". Li em alguns lugares que significa "95 vezes em 100, nossa diferença média amostral estará entre esses limites". Acho isso pouco claro. Alguém pode sugerir uma redação mais clara para explicar "intervalo de confiança da diferença de médias"? Essa saída …

21 confidence-interval 

Eu tenho alguns dados nos quais estou tentando ajustar uma linha de tendência. Acredito que os dados sigam uma lei de energia e, portanto, plotamos os dados nos eixos log-log procurando uma linha reta. Isso resultou em uma (quase) linha reta e, no Excel, adicionei uma linha de tendência para …

21 goodness-of-fit  power-law