Estatísticas e Big Data

O código a seguir avalia a semelhança entre duas séries temporais: set.seed(10) RandData <- rnorm(8760*2) America <- rep(c('NewYork','Miami'),each=8760) Date = seq(from=as.POSIXct("1991-01-01 00:00"), to=as.POSIXct("1991-12-31 23:00"), length=8760) DatNew <- data.frame(Loc = America, Doy = as.numeric(format(Date,format = "%j")), Tod = as.numeric(format(Date,format = "%H")), Temp = RandData, DecTime = rep(seq(1, length(RandData)/2) / (length(RandData)/2), 2)) …

24 r  time-series  data-visualization  gam 

Qual é a maneira / método mais fácil de calcular a correlação entre duas séries temporais exatamente do mesmo tamanho? Pensei em multiplicar e e somar a multiplicação. Então, se esse número único foi positivo, podemos dizer que essas duas séries estão correlacionadas? Posso pensar em alguns exemplos, no entanto, …

24 time-series 

Eu li que o teste t é "razoavelmente robusto" quando as distribuições das amostras saem da normalidade. Obviamente, é a distribuição amostral das diferenças que são importantes. Eu tenho dados para dois grupos. Um dos grupos é altamente inclinado na variável dependente. O tamanho da amostra é bastante pequeno para …

24 t-test  assumptions  normality-assumption  robust 

Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para …

24 lasso  regularization  loss-functions  ridge-regression 

Estou procurando uma referência ao artigo em que a validação cruzada da dobra k foi introduzida (em vez de apenas uma boa referência acadêmica para o assunto). Talvez esteja muito longe nas brumas do tempo identificar inequivocamente o primeiro artigo, de modo que qualquer artigo inicial em que a idéia …

24 cross-validation  references 

Estou revendo um artigo que tem o seguinte experimento biológico. Um dispositivo é usado para expor as células a quantidades variáveis ​​de estresse de cisalhamento de fluidos. À medida que uma maior tensão de cisalhamento é aplicada às células, muitas delas começam a se destacar do substrato. Em cada nível …

24 r  logistic  multinomial 

Atualmente, estou em um projeto em que basicamente preciso, como todos nós, entender como a saída está relacionada à entrada . A particularidade aqui é que os dados são fornecidos para mim uma peça de cada vez, portanto, desejo atualizar minha análise sempre que receber um novo . Acredito que …

24 modeling  model-selection 

Muitos estudos clínicos são baseados em amostras não aleatórias. No entanto, a maioria dos testes padrão (por exemplo, testes t, ANOVA, regressão linear, regressão logística) são baseados no pressuposto de que as amostras contêm "números aleatórios". Os resultados são válidos se essas amostras não aleatórias foram analisadas por testes padrão? …

24 sampling  randomness 

Existe uma relação entre regressão e análise discriminante linear (LDA)? Quais são suas semelhanças e diferenças? Faz alguma diferença se houver duas classes ou mais de duas classes?

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

Eu estou usando um teste ranksum comparar a média de duas amostras ( ) e descobriram que eles são significativamente diferentes, com: . Devo suspeitar de um valor tão pequeno ou devo atribuí-lo ao alto poder estatístico associado a ter uma amostra muito grande? Existe algo como um valor suspeitosamente …

24 hypothesis-testing  p-value  sample-size  power 

Nota: Estou postando uma pergunta de um ex-aluno meu incapaz de postar por conta própria por motivos técnicos. Dada uma amostra iid de uma distribuição Weibull com pdf existe uma representação variável ausente útil e, portanto, um algoritmo EM (maximização de expectativa) associado que pode ser usado para encontrar o …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

Estou tentando deixar de usar o ezpacote lmepara medidas repetidas ANOVA (como espero poder usar contrastes personalizados lme). Seguindo o conselho desta postagem no blog, consegui configurar o mesmo modelo usando os dois aov(como faz ez, quando solicitado) e lme. No entanto, enquanto no exemplo dado nesse post os valores …

24 r  anova  mixed-model  repeated-measures  lme4-nlme 

No começo, pensei que a ordem não importava, mas depois li sobre o processo de ortogonalização de Gram-Schmidt para calcular vários coeficientes de regressão, e agora estou pensando melhor. De acordo com o processo de gram-schmidt, quanto mais tarde uma variável explicativa for indexada entre as outras variáveis, menor será …

24 regression  multiple-regression  regression-coefficients 

O New York Times tem um longo comentário sobre o sistema de avaliação de professores de "valor agregado" usado para dar feedback aos educadores da cidade de Nova York. O lede é a equação usada para calcular as pontuações - apresentadas sem contexto. A estratégia retórica parece ser intimidação via …

24 regression  multilevel-analysis  statistics-in-media 

Uma análise interina é uma análise dos dados em um ou mais momentos antes do fechamento oficial do estudo, com a intenção de, por exemplo, possivelmente encerrar o estudo mais cedo. De acordo com Piantadosi, S. ( Ensaios clínicos - uma perspectiva metodológica ): " A estimativa de um efeito …

24 clinical-trials  bias