Estatísticas e Big Data

Essa é uma pergunta em geral, não específica para nenhum método ou conjunto de dados. Como lidamos com um problema de desequilíbrio de classe no aprendizado de máquina supervisionado, em que o número de 0 é de cerca de 90% e o número de 1 é de cerca de 10% …

47 machine-learning  unbalanced-classes  supervised-learning 

Na p. Brian Ripley, 34 de seu PRNN, comenta que "A AIC foi nomeada por Akaike (1974) como 'Um critério de informação', embora pareça comum acreditar que o A representa Akaike". De fato, ao introduzir a estatística da AIC, Akaike (1974, p.719) explica que "IC stands for information criterion and …

47 forecasting  model-selection  aic  bic 

Tirando as considerações sobre o poder da computação, existem razões para acreditar que o aumento do número de dobras na validação cruzada leva a uma melhor seleção / validação de modelo (ou seja, quanto maior o número de dobras, melhor)? Levando o argumento ao extremo, a validação cruzada de exclusão …

47 cross-validation  bias-variance-tradeoff 

Eu li tópicos suficientes no QQplots aqui para entender que um QQplot pode ser mais informativo do que outros testes de normalidade. No entanto, eu sou inexperiente na interpretação de QQplots. Eu pesquisei muito; Encontrei muitos gráficos de QQplots não normais, mas nenhuma regra clara sobre como interpretá-los, além do …

47 interpretation  normality-assumption  qq-plot 

Eu plotei isso depois de fazer um teste de normalidade Shapiro-Wilk. O teste mostrou que é provável que a população esteja normalmente distribuída. No entanto, como ver esse "comportamento" nesse enredo? ATUALIZAR Um histograma simples dos dados: ATUALIZAR O teste de Shapiro-Wilk diz:

47 r  data-visualization  normal-distribution  histogram  qq-plot 

Hoje me deparei com um novo tópico chamado Expectativa Matemática. O livro que estou seguindo diz que a expectativa é a média aritmética de variável aleatória proveniente de qualquer distribuição de probabilidade. Porém, define expectativa como a soma do produto de alguns dados e a probabilidade deles. Como esses dois …

47 expected-value 

Meu problema : recentemente, conheci um estatístico que me informou que as splines são úteis apenas para explorar dados e estão sujeitas a sobreajuste, portanto, não são úteis na previsão. Ele preferia explorar com polinômios simples ... Como sou um grande fã de splines, e isso vai contra a minha …

47 regression  splines 

Se eu tiver um conjunto de dados que produza um gráfico como o seguinte, como determinaria algoritmicamente os valores x dos picos mostrados (neste caso, três deles):

47 data-visualization  mode 

Estou ajustando uma família binomial de glm em R, e tenho um grupo inteiro de variáveis ​​explicativas, e preciso encontrar o melhor (R ao quadrado, se uma medida for boa). Antes de escrever um script para percorrer diferentes combinações aleatórias das variáveis ​​explicativas e depois gravar qual é o melhor, …

47 r  logistic 

Estou tentando acelerar as estatísticas Bayesianas. Tenho um pouco de histórico de estatísticas (STAT 101), mas não muito - acho que consigo entender antes, depois e probabilidade: D. Ainda não quero ler um livro bayesiano. Eu preferiria ler de uma fonte (site preferido) que me ajudará rapidamente. Algo como este …

47 bayesian  references 

Estou planejando começar a escrever pacotes R. Eu pensei que seria bom estudar o código fonte dos pacotes existentes para aprender as convenções de construção de pacotes. Meus critérios para bons pacotes para estudar: Idéias técnicas / estatísticas simples : o objetivo é aprender sobre a mecânica da construção de …

47 r 

Nós, estatísticos, usamos muitas palavras de maneiras ligeiramente diferentes da maneira como todo mundo as usa. Isso causa muitos problemas quando ensinamos ou explicamos o que estamos fazendo. Vou iniciar uma lista (e agora vou adicionar algumas definições, por comentários): Poder é a capacidade de rejeitar corretamente uma hipótese nula …

47 terminology  communication 

Eu tenho dados de vendas para uma série de pontos de venda e quero categorizá-los com base no formato de suas curvas ao longo do tempo. Os dados são mais ou menos assim (mas obviamente não são aleatórios e têm alguns dados ausentes): n.quarters <- 100 n.stores <- 20 if …

47 r  time-series  clustering 

Parece que quando a suposição de homogeneidade de variância é alcançada, os resultados de um teste t ajustado por Welch e um teste t padrão são aproximadamente os mesmos. Por que não usar sempre sempre o Welch ajustado t?

47 variance  t-test  heteroscedasticity 

Meu entendimento atual da noção "intervalo de confiança com nível de confiança " é que, se tentássemos calcular o intervalo de confiança várias vezes (sempre com uma nova amostra), ele conteria o parâmetro correto do Tempo.1 - α1−α1 - \alpha1 - α1−α1 - \alpha Embora eu perceba que isso não …

47 confidence-interval