Estatísticas e Big Data

Usei o pacote de coda effectiveSize()para encontrar o tamanho efetivo da amostra da minha simulação do MCMC. Meu tamanho efetivo da amostra é maior que o tamanho real da amostra, por exemplo, 9813.626 maior que 9501. Será que isso faz sentido? Meu entendimento é que o tamanho efetivo da amostra …

8 simulation  mcmc 

Fiz um modelo de regressão logística que inclui um termo polinomial até o grau 2. Estou ciente de que a regressão logística modela a variável de resposta como uma função não linear dos preditores. Faz sentido incluir um termo polinomial na regressão logística?

8 logistic  polynomial 

Lembro-me de uma prova de que a teoria da probabilidade bayesiana é o único método válido para representar crenças; foi algo como representamos crença por alguma função não negativa sobre algum domínio de resultados crenças são sub-aditivas ... Portanto, a teoria da probabilidade bayesiana é a única abordagem válida para …

8 bayesian  decision-theory 

Digamos que eu tenha uma série temporal de observações e calcule uma medida da variação dessa série temporal como o desvio padrão (SD) em uma janela rotativa de largura e essa janela seja movida em etapas de tempo único sobre a série. Suponha ainda que w = ⌈ n / …

8 time-series  autocorrelation  moving-window 

Eu tenho 10 pessoas trabalhando juntas. Eles trabalham em grupos por 6 dias: três dias na semana 1, três dias na semana 2. Em cada dia eu não tenho o conjunto completo de pessoas, mas um subconjunto delas. A cada dia eu medo as performances individuais. Eu tenho que dizer …

8 t-test  non-independent 

R em ação (Kabacoff, 2011) sugere a seguinte rotina para testar sobredispersão em uma regressão logística: Ajuste a regressão logística usando distribuição binomial: model_binom <- glm(Species=="versicolor" ~ Sepal.Width, family=binomial(), data=iris) Ajuste a regressão logística usando distribuição quase-binomial: model_overdispersed <- glm(Species=="versicolor" ~ Sepal.Width, family=quasibinomial(), data=iris) Use o qui-quadrado para testar a …

8 r  regression  distributions  logistic  overdispersion 

Depois de fazer algumas pesquisas sobre o tópico, notei um déficit surpreendente de pacotes de inferência e bibliotecas que dependem de métodos de passagem de mensagens ou otimização para Python e R. Que eu saiba, esses métodos são extremamente úteis. Por exemplo, apenas para uma propagação de crenças da Bayes …

8 r  python  bayes  variational-bayes 

Suponhamos uma distribuição multivariada através RnRn\mathbb R^n tem uma matriz de covariância singular. Podemos concluir que ele não possui uma função de densidade? Por exemplo, é o caso da distribuição normal multivariada, mas não tenho certeza se isso é verdade para todas as outras distribuições multivariadas. Acho que essa é …

8 distributions  mathematical-statistics  covariance 

Estou trabalhando em modelos de dados de contagem inflada a zero usando o psclpacote. Estou apenas me perguntando por que não há desenvolvimento de modelos para modelos de dados de contagem com um inflado! Também por que não há desenvolvimento de modelos de dados bimodais, digamos com zero e 2 …

8 r  generalized-linear-model  zero-inflation  poisson-regression 

Nesta página da Wikipedia , na subseção para validação cruzada com dobras K, diz "Na validação cruzada com dobras k, a amostra original é dividida aleatoriamente em k subamostras de tamanho igual. Das k subamostras, uma única subamostra é retida como dados de validação para testando o modelo, e as …

8 cross-validation 

Eu tenho um conjunto de dados que é estritamente binário. o conjunto de valores de cada variável está no domínio: true, false. a propriedade "especial" desse conjunto de dados é que a maioria esmagadora dos valores é "falsa". Eu já usei um algoritmo de aprendizado de rede bayesiana para aprender …

8 machine-learning  classification  svm  random-forest  bayesian-network 

Eu estava lendo algumas anotações e diz que o PCA pode "esfolar os dados". O que eles definem para mim como "digitando os dados" é dividir cada dimensão pela raiz quadrada do valor próprio correspondente. Estou assumindo que por "dimensão" eles significam cada vetor base no qual estamos projetando (ou …

8 pca 

Estou tentando encontrar a estimativa MAP para um modelo por descida gradiente. Meu prior é gaussiano multivariado com uma matriz de covariância conhecida. Em um nível conceitual, acho que sei como fazer isso, mas esperava alguma ajuda com os detalhes. Em particular, se houver uma maneira mais fácil de abordar …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Existem vários métodos para fazer previsões de séries temporais equidistantes (por exemplo, Holt-Winters, ARIMA, ...). No entanto, atualmente estou trabalhando no seguinte conjunto de dados espaçados irregulares, que possui uma quantidade variável de pontos de dados por ano e sem intervalos regulares entre esses pontos: Sinopse: Dados da amostra: structure(list(date …

8 r  time-series  forecasting  unevenly-spaced-time-series 

Estou usando lmerTestpara executar modelos mistos lineares (LMM) para obter os valores-p. No entanto, nos artigos que escrevi, eles mostrarão ambos lme4e lmerTest. Então, não tenho certeza se também citei lme4quando uso apenas lmerTestpara executar modelos LMM. voce tem alguma ideia sobre isso?

8 r