Estatísticas e Big Data

Para dados de contagem que eu coletei, uso a regressão de Poisson para construir modelos. Eu faço isso usando a glmfunção em R, onde eu uso family = "poisson". Para avaliar possíveis modelos (tenho vários preditores), uso o AIC. Por enquanto, tudo bem. Agora eu quero executar a validação cruzada. …

11 r  generalized-linear-model  poisson-distribution 

Estou ministrando um curso de estatística básica e estamos fazendo o teste t para duas amostras independentes com variações desiguais (teste de Welch). Nos exemplos que eu vi, os graus de liberdade ajustados usados ​​pelo teste de Welch são sempre menores ou iguais a . n1+n2−2n1+n2−2n_1+n_2-2 Esse é sempre o …

11 hypothesis-testing  t-test 

Eu tenho um conjunto de dados que contém o número de ações executadas por indivíduos ao longo de sete dias. A ação específica não deve ser relevante para esta pergunta. Aqui estão algumas estatísticas descritivas para o conjunto de dados: AlcanceSignificarVariaçãoNúmero de observações0 - 77218,22791696Range0−772Mean18.2Variance2791Number of observations696 \begin{array}{|c|c|} \hline \text{Range} …

11 r  distributions  poisson-distribution  mean  sample 

No artigo seminal "Rao-Blackwellised Particle Filtering for Dynamic Bayesian Networks" de A. Doucet et. al. é proposto um filtro seqüencial de Monte Carlo (filtro de partículas), que utiliza uma subestrutura linear em um processo markov x k = ( x L k , x N k ) . Pela marginalização …

11 monte-carlo  particle-filter 

Estou treinando um processo gaussiano com um kernel ARD com muitos parâmetros, maximizando a confiabilidade marginal dos dados, em vez de validação cruzada. Suspeito que seja excessivo. Como posso testar essa suspeita em um contexto bayesiano?

11 machine-learning  cross-validation  gaussian-process 

Provavelmente, estou lidando com um problema que provavelmente já foi resolvido centenas de vezes antes, mas não tenho certeza de onde encontrar a resposta. Ao meio de regressão logística, dadas muitas características tentando prever um valor categórico binário y , estou interessado em selecionar um subconjunto dos recursos que prevêem …

11 machine-learning  logistic  classification 

Um exemplo de uma boa medida de separabilidade de classe em alunos discriminantes lineares é a razão de discriminante linear de Fisher. Existem outras métricas úteis para determinar se os conjuntos de recursos fornecem uma boa separação de classe entre as variáveis ​​de destino? Em particular, estou interessado em encontrar …

11 machine-learning  classification  feature-selection  discriminant-analysis 

Eu gostaria de descrever o "pico" e o "peso" da cauda de várias funções de densidade de probabilidade inclinadas. Os recursos que quero descrever, seriam chamados de "curtose"? Eu só vi a palavra "curtose" usada para distribuições simétricas?

11 pdf  descriptive-statistics  skewness  kurtosis 

Antecedentes Biológicos Com o tempo, algumas espécies de plantas tendem a duplicar todo o seu genoma, ganhando uma cópia adicional de cada gene. Devido à instabilidade dessa configuração, muitos desses genes são excluídos e o genoma se rearranja e se estabiliza, pronto para duplicar novamente. Esses eventos de duplicação estão …

11 generalized-linear-model  contingency-tables  fishers-exact  genetics  bioinformatics 

A implementação randomForest não permite amostragem além do número de observações, mesmo quando amostragem com substituição. Por que é isso? Funciona bem: rf <- randomForest(Species ~ ., iris, sampsize=c(1, 1, 1), replace=TRUE) rf <- randomForest(Species ~ ., iris, sampsize=3, replace=TRUE) O que eu quero fazer: rf <- randomForest(Species ~ ., …

11 r  sampling  random-forest  stratification  oversampling 

Me deparei com essa distribuição em um jogo de computador e queria aprender mais sobre seu comportamento. É a decisão de decidir se um determinado evento deve ocorrer após um determinado número de ações do jogador. Os detalhes além disso não são relevantes. Parece aplicável a outras situações, e achei …

11 probability  distributions  survival  discrete-data 

Para analisar a contagem de pássaros inflada a zero, eu gostaria de aplicar modelos de contagem inflada a zero usando o pacote R pscl . No entanto, observando o exemplo fornecido na documentação para uma das principais funções ( ? Zeroinfl ), começo a duvidar de qual é a real …

11 r  poisson-distribution  zero-inflation 

Digamos que temos uma pergunta simples "sim / não" que queremos saber como responder. E há N pessoas "votando" pela resposta correta. Todo eleitor tem um histórico - lista de 1 e 0, mostrando se eles estavam certos ou errados sobre esse tipo de perguntas no passado. Se assumirmos a …

11 accuracy  uncertainty  weighted-mean  voting-system 

Da Wikipedia Uma Rede Bayesiana Dinâmica (DBN) é uma Rede Bayesiana que relaciona variáveis ​​entre si em etapas de tempo adjacentes. Isso geralmente é chamado de BN com duas vezes de timeslice porque diz que, em qualquer ponto do tempo T, o valor de uma variável pode ser calculado a …

11 hidden-markov-model  graphical-model 

Eu gostaria de usar lme4para ajustar uma regressão de efeitos mistos e multcompcalcular as comparações aos pares. Eu tenho um conjunto de dados complexo com vários preditores contínuos e categóricos, mas minha pergunta pode ser demonstrada usando o ChickWeightconjunto de dados interno como exemplo: m <- lmer(weight ~ Time * …

11 r  mixed-model  multiple-comparisons