Estatísticas e Big Data

Recentemente, li sobre Bayes empírico (Casella, 1985, Uma introdução à análise de dados empíricos de Bayes) e parecia muito com o modelo de efeitos aleatórios; em que ambos têm estimativas reduzidas à média global. Mas eu não li completamente ... Alguém tem alguma idéia sobre a semelhança e as diferenças …

12 bayesian  estimation  random-effects-model  steins-phenomenon  empirical-bayes 

Observo os tempos de processamento de um processo antes e depois de uma alteração para descobrir se o processo melhorou com a alteração. O processo melhorou, se o tempo de processamento for reduzido. A distribuição do tempo de processamento é baseada em gordura, portanto, comparar com base na média não …

12 sampling  nonparametric 

Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes diferem entre PROC MIXEDe …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Outro dia, tive uma consulta com um epidemiologista. Ela é médica com um diploma de saúde pública em epidemiologia e possui muita experiência estatística. Ela orienta seus bolsistas e residentes de pesquisa e os ajuda com questões estatísticas. Ela entende muito bem o teste de hipóteses. Ela teve um problema …

12 relative-risk  absolute-risk  rare-events 

Existe uma distribuição somente positiva, de modo que a diferença de duas amostras independentes dessa distribuição seja normalmente distribuída? Em caso afirmativo, ele possui uma forma simples?

12 distributions  probability 

Gostaria de calcular a divergência de Jensen-Shannon para ele após três distribuições. O cálculo abaixo está correto? (Eu segui a fórmula JSD da wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, …

12 distance-functions  information-theory 

Esta pode ser uma pergunta básica, mas eu queria saber por que um RRR valor em um modelo de regressão pode simplesmente ser elevado ao quadrado para dar uma figura da variação explicada? Eu entendo que RRR coeficiente pode dar a força de um relacionamento, mas não entendo como o …

12 regression  correlation  r-squared 

A abordagem tradicional da seleção de variáveis ​​é encontrar variáveis ​​que mais contribuem para a previsão de uma nova resposta. Recentemente, aprendi de uma alternativa para isso. Na modelagem de variáveis ​​que determinam o efeito de um tratamento - como, por exemplo, em um ensaio clínico de um farmacêutico - …

12 regression  feature-selection 

θθ\thetaθ ∈ [0,1]θ∈[0,1] \theta \in [0,1]θ ∼U( 0 , 1 )θ∼U(0 0,1)\theta \sim \mathcal{U}(0,1)θθ\theta

12 bayesian  uninformative-prior  jeffreys-prior 

Atualmente, estou analisando dados de uma série de experimentos comportamentais que usam a seguinte medida. Os participantes deste experimento são convidados a selecionar pistas que outras pessoas (fictícias) poderiam usar para ajudar a resolver uma série de 10 anagramas. Os participantes são levados a acreditar que essas outras pessoas ganharão …

12 poisson-distribution  count-data 

Um grande problema na comunicação dos resultados dos cálculos estatísticos à mídia e ao público é a maneira como comunicamos a incerteza. Certamente, a maioria dos meios de comunicação de massa parece gostar de um número rígido e rápido, embora, exceto em um número relativamente pequeno de casos, os números …

12 uncertainty  communication 

Considere o seguinte gráfico: A linha vermelha (eixo esquerdo) descreve o volume de negociação de uma determinada ação. A linha azul (eixo direito) descreve o volume de mensagens do twitter para esse material. Por exemplo, em 9 de maio (09-09), foram feitos cerca de 1.100 milhões de transações e 4.000 …

12 time-series  correlation  lags 

Em um post anterior, eu me perguntei como lidar com as pontuações EQ-5D . Recentemente, me deparei com a regressão logística quantílica sugerida por Bottai e McKeown, que apresenta uma maneira elegante de lidar com resultados limitados. A fórmula é simples: l o geu t ( y) = l o …

12 r  logistic  data-visualization  logit  quantile-regression 

Desenhamos NNN amostras, cada uma do tamanho nnn , independentemente de uma distribuição Normal (μ,σ2)(μ,σ2)(\mu,\sigma^2) . Das NNN amostras, escolhemos as 2 amostras que têm a maior correlação (absoluta) de Pearson entre si. Qual é o valor esperado dessa correlação? Obrigado [PS Isto não é lição de casa]

12 correlation  normal-distribution  expected-value  maximum 

Eu tenho uma amostra de dados gerados Rpor rnorm(50,0,1), então os dados obviamente assumem uma distribuição normal. No entanto, Rnão "conhece" essas informações distributivas sobre os dados. Existe um método para Restimar que tipo de distribuição minha amostra vem? Caso contrário, usarei a shapiro.testfunção e procederei dessa maneira.

12 r  distributions