Estatísticas e Big Data

Existe uma certa escola de pensamento segundo a qual a abordagem mais difundida dos testes estatísticos é um "híbrido" entre duas abordagens: a de Fisher e a de Neyman-Pearson; essas duas abordagens, afirma a alegação, são "incompatíveis" e, portanto, o "híbrido" resultante é uma "confusão incoerente". Fornecerei uma bibliografia e …

56 hypothesis-testing  statistical-significance  p-value  type-i-and-ii-errors  history 

Quero detectar a sazonalidade nos dados que recebo. Existem alguns métodos que encontrei, como o gráfico de sub-séries sazonais e o gráfico de autocorrelação, mas o problema é que não entendo como ler o gráfico, alguém poderia ajudar? A outra coisa é: existem outros métodos para detectar a sazonalidade com …

56 time-series  seasonality 

Alguém tem alguma experiência com software (de preferência gratuito, preferencialmente de código aberto) que obtém uma imagem dos dados plotados em coordenadas cartesianas (uma plotagem padrão do dia-a-dia) e extrai as coordenadas dos pontos plotados no gráfico? Essencialmente, esse é um problema de mineração de dados e um problema de …

56 data-visualization  data-mining  software 

Eu tenho dados de um experimento que analisei usando testes t. A variável dependente é escalonada em intervalos e os dados são desparelhados (ou seja, 2 grupos) ou emparelhados (ou seja, dentro de indivíduos). Por exemplo (dentro dos assuntos): x1 <- c(99, 99.5, 65, 100, 99, 99.5, 99, 99.5, 99.5, …

56 r  t-test  nonparametric  permutation-test 

Eu costumava pensar que "modelo de efeitos aleatórios" em econometria corresponde a um "modelo misto com interceptação aleatória" fora da econometria, mas agora não tenho certeza. Faz isso? A econometria usa termos como "efeitos fixos" e "efeitos aleatórios", diferentemente da literatura sobre modelos mistos, e isso causa uma confusão notória. …

56 mixed-model  econometrics  panel-data  lme4-nlme  plm 

Esta questão é motivada pela minha pergunta sobre meta-análise . Mas imagino que também seria útil no ensino de contextos em que você deseja criar um conjunto de dados que espelhe exatamente um conjunto de dados publicado existente. Eu sei como gerar dados aleatórios a partir de uma determinada distribuição. …

56 r  dataset  simulation  random-generation 

Por que continuar ensinando e usando o teste de hipóteses (com todos os seus conceitos difíceis e que estão entre os pecados mais estatísticos) para problemas em que existe um estimador de intervalo (confiança, autoinicialização, credibilidade ou qualquer outra coisa)? Qual é a melhor explicação (se houver) a ser dada …

56 hypothesis-testing  confidence-interval  teaching 

Ainda me lembro do artigo dos Annals of Statistics sobre Boosting, de Friedman-Hastie-Tibshirani, e dos comentários sobre os mesmos assuntos de outros autores (incluindo Freund e Schapire). Naquela época, claramente o Boosting era visto como um avanço em muitos aspectos: computacionalmente viável, um método de conjunto, com desempenho excelente, porém …

56 mathematical-statistics  history 

Vejo esses termos sendo usados ​​e continuo confundindo-os. Existe uma explicação simples das diferenças entre eles?

56 estimation  maximum-likelihood 

X1 1, . . . , XnX1,...,XnX_1, ..., X_nmin ( X1 1, . . . , Xn)min(X1 1,...,Xn)\min(X_1, ..., X_n)

56 distributions  random-variable  minimum 

Para resolver problemas de seleção de modelos, vários métodos (LASSO, regressão de crista, etc.) reduzirão os coeficientes das variáveis ​​preditivas em direção a zero. Estou procurando uma explicação intuitiva sobre por que isso melhora a capacidade preditiva. Se o verdadeiro efeito da variável foi realmente muito grande, por que a …

55 lasso  regularization  ridge-regression  intuition  shrinkage 

fundo Estou fazendo pesquisa clínica em medicina e fiz vários cursos de estatística. Nunca publiquei um artigo usando regressão linear / logística e gostaria de fazer a seleção de variáveis ​​corretamente. A interpretabilidade é importante, portanto, não há técnicas sofisticadas de aprendizado de máquina. Resumi minha compreensão da seleção de …

55 regression  feature-selection  model-selection 

Refiro-me a práticas que ainda mantêm sua presença, mesmo que os problemas (geralmente computacionais) para os quais foram projetados tenham sido resolvidos. Por exemplo, a correção de continuidade de Yates foi inventada para aproximar o teste exato de Fisher com o teste , mas não é mais prático, pois o …

55 references  philosophical 

Tanto quanto eu entendo, o teste de Wald no contexto da regressão logística é usado para determinar se uma determinada variável preditora é significativa ou não. Rejeita a hipótese nula do coeficiente correspondente sendo zero.XXX O teste consiste em dividir o valor do coeficiente pelo erro padrão .σσ\sigma O que …

55 logistic  z-statistic 

Já tínhamos um tópico perguntando quem são bayesianos e um perguntando se os freqüentadores são bayesianos , mas não havia um tópico perguntando diretamente quem são freqüentadores ? Esta é uma pergunta que foi feita pelo @whuber como um comentário a este tópico e pede para ser respondida. Eles existem …

55 bayesian  frequentist