Estatísticas e Big Data

Nas minhas tentativas de combater o caos das planilhas, sou freqüentemente evangélico ao pressionar por ferramentas mais robustas, como o software de estatística verdadeira (R, Stata e similares). Recentemente, fui desafiado por essa visão por alguém que declarou claramente que simplesmente não aprenderá a programar. Eu gostaria de fornecer a …

20 data-visualization  software 

Eu estava lendo o Blog de Christian Robert hoje e gostei bastante do novo algoritmo de Metropolis-Hastings que ele estava discutindo. Parecia simples e fácil de implementar. Sempre que codifico o MCMC, costumo seguir algoritmos MH muito básicos, como movimentos independentes ou passeios aleatórios na escala de log. Quais algoritmos …

20 mcmc  metropolis-hastings 

Estou realizando experimentos para um artigo e estou procurando um livro / site interessante para entender corretamente como ANOVA e ANCOVA funcionam. Eu tenho uma boa formação matemática, então não preciso necessariamente de uma explicação vulgarizada. Eu também gostaria de saber como determinar quando usar ANOVA em vez de ANCOVA.

20 anova  references  ancova 

O truque do kernel é usado em vários modelos de aprendizado de máquina (por exemplo, SVM ). Foi introduzido pela primeira vez no artigo "Fundamentos teóricos do método da função potencial no aprendizado de reconhecimento de padrões" em 1964. A definição da Wikipedia diz que é um método para usar …

20 machine-learning  kernel-trick 

A lógica da imputação múltipla (MI) é imputar os valores ausentes não uma vez, mas várias (normalmente M = 5) vezes, resultando em M conjuntos de dados concluídos. Os conjuntos de dados completos M são então analisados ​​com métodos de dados completos nos quais as estimativas M e seus erros …

20 modeling  confidence-interval  mixed-model  data-imputation 

Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando um teste estatístico …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Uma pergunta que me incomodou por algum tempo, que não sei como resolver: Todos os dias, meu meteorologista oferece uma porcentagem de chance de chuva (vamos supor que seja calculado em 9000 dígitos e ele nunca repetiu um número). Todos os dias subsequentes, chove ou não chove. Tenho anos de …

20 hypothesis-testing  forecasting 

Não sou especialista em floresta aleatória, mas entendo claramente que o principal problema da floresta aleatória é a geração (aleatória) de árvores. Você pode me explicar como as árvores são geradas? (ou seja, qual é a distribuição usada para geração de árvores?) Desde já, obrigado !

20 machine-learning  r  algorithms  cart  random-forest 

No problema clássico do colecionador de cupons , é sabido que o tempo necessário para concluir um conjunto de cupons escolhidos aleatoriamente satisfaz , e .TTTnnnE[T]∼nlnnE[T]∼nln⁡nE[T] \sim n \ln n Var(T)∼n2Var(T)∼n2Var(T) \sim n^2Pr(T&gt;nlnn+cn)&lt;e−cPr(T&gt;nln⁡n+cn)&lt;e−c\Pr(T > n \ln n + cn) < e^{-c} Esse limite superior é melhor que o dado pela …

20 probability  probability-inequalities  coupon-collector-problem 

Qual é o método preferido para a realização de post-hocs para testes dentro dos sujeitos? Vi trabalhos publicados nos quais o HSD de Tukey é empregado, mas uma revisão de Keppel e Maxwell &amp; Delaney sugere que a provável violação da esfericidade nesses projetos torna o termo do erro incorreto …

20 r  repeated-measures  multiple-comparisons  post-hoc  sphericity 

Ouvi dizer que quando muitas especificações de modelo de regressão (por exemplo, no OLS) são consideradas como possibilidades para um conjunto de dados, isso causa vários problemas de comparação e os valores de p e os intervalos de confiança não são mais confiáveis. Um exemplo extremo disso é a regressão …

20 regression  frequentist  multiple-comparisons 

Existe uma diferença conceitual ou processual entre ajustar um modelo aos dados e ajustar os dados ao modelo? Um exemplo da primeira redação pode ser visto em https://courses.washington.edu/matlab1/ModelFitting.html , e da segunda em https://reference.wolfram.com/applications/eda/FittingDataToLinearModelsByLeast-SquaresTechniques.html .

20 terminology 

Dediquei muito tempo ao desenvolvimento de métodos e softwares para validar modelos preditivos no domínio estatístico freqüentista tradicional. Ao colocar mais idéias bayesianas em prática e ensinar, vejo algumas diferenças importantes a serem adotadas. Primeiro, a modelagem preditiva bayesiana pede ao analista que pense muito sobre distribuições anteriores que podem …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

Quais são as principais diferenças entre dados esparsos e dados ausentes? E como isso influencia o aprendizado de máquina? Mais especificamente, que efeito os dados esparsos e ausentes têm sobre algoritmos de classificação e algoritmos de regressão (números preditores). Estou falando de uma situação em que a porcentagem de dados …

20 machine-learning  dataset  missing-data  sparse 

Recentemente, aprendi que uma das maneiras de encontrar melhores soluções para problemas de ML é através da criação de recursos. Pode-se fazer isso, por exemplo, somando dois recursos. Por exemplo, possuímos dois recursos "ataque" e "defesa" de algum tipo de herói. Em seguida, criamos um recurso adicional chamado "total", que …

20 machine-learning  feature-construction