Estatísticas e Big Data

Como posso gerar séries temporais binárias, de modo que: A probabilidade média de observar 1 é especificada (digamos 5%); Probabilidade condicional de observar 1 no tempo ttt dado o valor em (digamos 30% se o valor de for 1)?t−1t−1t-1t−1t−1t-1

15 time-series  random-variable  simulation  random-generation 

Digamos que eu tenha um experimento fatorial 2x2 simples no qual eu quero fazer a ANOVA. Assim, por exemplo: d <- data.frame(a=factor(sample(c('a1','a2'), 100, rep=T)), b=factor(sample(c('b1','b2'), 100, rep=T))); d$y <- as.numeric(d$a)*rnorm(100, mean=.75, sd=1) + as.numeric(d$b)*rnorm(100, mean=1.2, sd=1) + as.numeric(d$a)*as.numeric(d$b)*rnorm(100, mean=.5, sd=1) + rnorm(100); Na ausência de uma interação significativa, por padrão …

15 r  anova  contrasts 

Tenho uma vaga noção do que é um método de passagem de mensagens: um algoritmo que constrói uma aproximação a uma distribuição, construindo iterativamente aproximações de cada um dos fatores da distribuição, condicionadas a todas as aproximações de todos os outros fatores. Acredito que ambos são exemplos de Passagem Variacional …

15 distributions  bayesian  references  algorithms 

Estou tentando usar a função ' densidade ' em R para fazer estimativas de densidade do kernel. Estou tendo alguma dificuldade em interpretar os resultados e comparar vários conjuntos de dados, pois parece que a área sob a curva não é necessariamente 1. Para qualquer função de densidade de probabilidade …

15 r  estimation  pdf  kernel-smoothing  auc 

Recentemente, fiz uma análise dos efeitos da reputação nos votos positivos (veja a publicação no blog ) e, posteriormente, fiz algumas perguntas sobre análises e gráficos possivelmente mais esclarecedores (ou mais apropriados). Portanto, algumas perguntas (e sinta-se à vontade para responder a alguém em particular e ignorar as outras): Em …

15 data-visualization  large-data  fixed-effects-model 

Optando por parametrizar a distribuição gama Γ(b,c)Γ(b,c)\Gamma(b,c) pelo pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} A divergência de Kullback-Leibler entreΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)eΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)é dada por [1] como KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Estou supondo que Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) …

15 kullback-leibler  gamma-distribution  exponential-family 

Quais são os prós e os contras de aprender sobre as propriedades de uma distribuição algoritmicamente (através de simulações em computador) versus matematicamente? Parece que as simulações por computador podem ser um método de aprendizado alternativo, especialmente para os novos alunos que não se sentem fortes em cálculo. Também parece …

15 distributions  algorithms  teaching 

Nos estudos de expressão gênica usando microarranjos, os dados de intensidade devem ser normalizados para que as intensidades possam ser comparadas entre indivíduos, entre genes. Conceitualmente e algoritmicamente, como funciona a "normalização quantílica" e como você explicaria isso a um não estatístico?

15 genetics  normalization  microarray 

Existe alguma razão do que eu possa pensar, para transformar os dados com uma raiz quadrada? Quero dizer, o que sempre observo é que o R ^ 2 aumenta. Mas isso é provavelmente apenas por causa da centralização dos dados! Qualquer pensamento é apreciado!

15 regression  data-transformation  variance-stabilizing 

Estou decentemente familiarizado com os modelos de efeitos mistos (MEM), mas um colega recentemente me perguntou como ele se compara aos modelos de crescimento latente (LGM). Pesquisei um pouco no Google e parece que o LGM é uma variante da modelagem de equações estruturais aplicada a circunstâncias em que medidas …

15 mixed-model  panel-data 

Essa é uma pergunta em aberto, mas quero deixar claro. Dada uma população suficiente, você poderá aprender alguma coisa (esta é a parte aberta), mas o que você aprender sobre sua população, quando isso será aplicável a um membro da população? Pelo que entendi das estatísticas, nunca é aplicável a …

15 teaching  validity 

Me deparei com o artigo de Hervé Abdi sobre SVD generalizado. O autor mencionou: O SVD generalizado (GSVD) decompõe uma matriz retangular e leva em consideração as restrições impostas nas linhas e nas colunas da matriz. O GSVD fornece uma estimativa quadrada generalizada ponderada de uma matriz dada por uma …

15 multivariate-analysis  svd 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Alguém poderia inventar o código R para plotar uma elipse a partir dos valores próprios …

15 r  multivariate-analysis  matrix  matrix-decomposition 

Estou fazendo análise de dados de séries temporais por métodos de espaço de estado. Com meus dados, o modelo estocástico de nível local superou totalmente o modelo determinístico. Mas o nível determinístico e o modelo de inclinação oferecem melhores resultados do que com o nível estocástico e a inclinação estocástica …

15 time-series  state-space-models 

Estou agrupando distribuições de probabilidade usando o algoritmo de Afinidade de Propagação e planejo usar a Densidade de Jensen-Shannon como métrica de distância. É correto usar o próprio JSD como a distância ou o JSD ao quadrado? Por quê? Que diferenças resultariam da escolha de um ou outro?

15 machine-learning  clustering  entropy  distance-functions