Estatísticas e Big Data

Estou trabalhando em um algoritmo que utiliza um vetor do ponto de dados mais recente de um número de fluxos de sensores e compara a distância euclidiana aos vetores anteriores. O problema é que os diferentes fluxos de dados são de sensores completamente diferentes; portanto, tomar uma distância euclidiana simples …

12 time-series  normalization  real-time 

Eu postei isso no mathoverflow e ninguém está respondendo: O método de Scheffé para identificar contrastes estatisticamente significativos é amplamente conhecido. Um contraste entre as médias , i = 1 , … , r de r populações é uma combinação linear ∑ r i = 1 c i μ i …

12 regression  hypothesis-testing  contrasts  np 

Atualmente, estou fazendo o curso PGM de Daphne Koller no Coursera. Nesse sentido, geralmente modelamos uma Rede Bayesiana como um gráfico direcionado de causa e efeito das variáveis ​​que fazem parte dos dados observados. Mas, nos tutoriais e exemplos do PyMC, geralmente vejo que não é exatamente modelado da mesma …

12 bayesian  inference  bayesian-network  pymc 

A pergunta acima diz tudo. Basicamente, minha pergunta é para uma função de ajuste genérico (poderia ser arbitrariamente complicada) que não será linear nos parâmetros que estou tentando estimar, como escolher os valores iniciais para inicializar o ajuste? Estou tentando fazer mínimos quadrados não lineares. Existe alguma estratégia ou método? …

12 least-squares  nonlinear-regression  starting-values 

Antecedentes: Li um artigo em que os autores relatam a correlação de Pearson 0,754 do tamanho da amostra 878. O valor p resultante para o teste de correlação é "duas estrelas" significativo (isto é, p <0,01). No entanto, acho que, com um tamanho de amostra tão grande, o valor de …

12 hypothesis-testing  correlation  p-value  fraud 

Estou tentando entender como usar o aprendizado de máquina para prever séries temporais financeiras 1 ou mais etapas no futuro. Tenho séries temporais financeiras com alguns dados descritivos e gostaria de formar um modelo e depois usá-lo para prever n passos adiante. O que tenho feito até agora é: getSymbols("GOOG") …

12 r  time-series  machine-learning  random-forest  finance 

Wikipedia diz o tamanho do efeito é uma medida da força de um fenômeno ou de uma estimativa amostral dessa quantidade. Um tamanho de efeito calculado a partir dos dados é uma estatística descritiva que transmite a magnitude estimada de um relacionamento sem fazer nenhuma afirmação sobre se o aparente …

12 effect-size 

Dados gaussianos distribuídos em uma única dimensão requerem dois parâmetros para caracterizá-los (média, variância), e há rumores de que cerca de 30 amostras selecionadas aleatoriamente são geralmente suficientes para estimar esses parâmetros com confiança razoavelmente alta. Mas o que acontece quando o número de dimensões aumenta? Em duas dimensões (por …

12 normal-distribution  multivariate-analysis 

Qual é a variação do produto de kkk variáveis ​​aleatórias correlacionadas?

12 variance  random-variable 

No livro "Estado Vermelho, Estado Azul" de Andrew Gelman, ele analisa o fato de que pessoas ricas em determinados estados tendem a votar mais em republicanos do que em pobres, mas que estados ricos tendem a votar mais em democratas do que em estados pobres. Existe um nome para esse …

12 paradox 

Eu tenho o seguinte modelo: > model1<-lmer(aph.remain~sMFS1+sAG1+sSHDI1+sbare+season+crop +(1|landscape),family=poisson) ... e esta é a saída resumida. > summary(model1) Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS1 + sAG1 + sSHDI1 + sbare + season + crop + (1 | landscape) AIC BIC logLik deviance 4057 4088 …

12 r  poisson-distribution  lme4-nlme  glmm  overdispersion 

Por favor, ajude-me a encontrar a distribuição limitadora (como ) do seguinte: U n = X 1 + X 2 + … + X nn→∞n→∞n \rightarrow \inftyqueXié iidN(0,1).Un=X1+X2+…+XnX31+X32+…X3n,Un=X1+X2+…+XnX13+X23+…Xn3, U_n = \frac{X_1 + X_2 + \ldots + X_n}{X_1^3 + X_2^3 + \ldots X_n^3},XiXiX_iN(0,1)N(0,1)N(0,1)

12 distributions  normal-distribution  asymptotics 

Estou executando um modelo linear generalizado, no qual tenho que especificar uma família diferente da normal. Qual é a distribuição esperada de resíduos? Por exemplo, os resíduos devem ser distribuídos normalmente?

12 generalized-linear-model  residuals  normality-assumption 

Eu gostaria de comparar as médias entre três grupos de tamanhos iguais (o tamanho igual da amostra é pequeno, 21). As médias de cada grupo são normalmente distribuídas, mas suas variações são desiguais (testadas por Levene). Uma transformação é a melhor rota nessa situação? Devo considerar outra coisa primeiro?

12 anova  variance  heteroscedasticity 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora de tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Eu sou muito novo em R. Estou aprendendo aprendizado de máquina agora. Sinto muito, se esta pergunta parece ser muito …

12 r  feature-selection