Estatísticas e Big Data

Sou relativamente novo em estatística e entendo que minha pergunta pode estar completamente errada. Estou testando meu próprio algoritmo versus outro. Embora as saídas não sejam idênticas, quero mostrar que as diferenças são "estatisticamente insignificantes". Como posso quantificar isso, para expressar meu argumento?

9 correlation  statistical-significance  dataset 

Os seguintes enxertos são retirados deste artigo . Eu sou novato no bootstrap e estou tentando implementar o bootstrap paramétrico, semiparamétrico e não paramétrico para o modelo misto linear com o R bootpacote. Código R Aqui está o meu Rcódigo: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

Esta pergunta já tem uma resposta aqui : correlação entre variáveis ​​categóricas (1 resposta) Fechado há 5 meses . Eu sei que podemos usar Spearman rho para medir a correlação entre variáveis ​​numéricas. Mas como medir a correlação entre variáveis ​​categóricas?

9 correlation  categorical-data 

Suponha que recebamos um conjunto de dados da forma e ( y , x 1 , x 2 , ⋯ , x n - 1 ) . É-nos dada a tarefa de prever y com base nos valores de x . Estimamos duas regressões em que: y( y, x1 1, …

9 regression  multiple-regression  missing-data  multicollinearity  multiple-imputation 

Estou usando o pacote randomForest no R (versão 2.13.1, versão 4.6-2 randomForest) para regressão e notei um viés significativo nos meus resultados: o erro de previsão depende do valor da variável de resposta. Valores altos são sub-previstos e valores baixos são super-previstos. Inicialmente, suspeitei que isso fosse uma consequência dos …

9 r  regression  random-forest 

Digamos que eu tenha um problema simples de aprendizado de máquina, como uma classificação. Com algumas referências em visão ou reconhecimento de áudio, eu, como humano, sou um classificador muito bom. Portanto, tenho uma intuição de quão bom um classificador pode ser. Mas com muitos dados, um ponto é que …

9 machine-learning 

Atualmente, estou trabalhando em uma série de modelos de séries temporais de Poisson tentando estimar o efeito de uma alteração na forma como as contagens foram obtidas (alternando de um teste de diagnóstico para outro) enquanto controlo outras tendências ao longo do tempo (digamos, um aumento geral no incidência de …

9 mixed-model  generalized-linear-model  poisson-distribution  random-effects-model 

Eu tenho usado o Root Mean Squared Error(RMSE) para medir a precisão dos valores previstos usando um modelo. Entendo que o valor retornado está usando as unidades das minhas medidas (em vez de uma porcentagem). No entanto, gostaria de citar meus valores como uma porcentagem. A abordagem adotada é normalizar …

9 error  terminology 

Eu tenho um conjunto de dados bastante complicado para analisar e não consigo encontrar uma boa solução para isso. É o seguinte: 1. os dados brutos são essencialmente gravações de canções de insetos. Cada música é composta de várias explosões e cada explosão é composta por subunidades. Todos os indivíduos …

9 time-series  mixed-model  repeated-measures  random-effects-model 

Venho ajustando alguns dados de séries temporais usando um modelo aditivo geral de Poisson usando SAS PROC GAM. De um modo geral, estou fazendo com que seu procedimento de validação cruzada generalizada interno gere pelo menos um "ponto de partida" decente para o meu spline único, que é uma função …

9 time-series  sas  splines  gam 

Estou lendo A. Agresti (2007), Introdução à análise de dados categóricos , 2ª. edição e não tenho certeza se entendi corretamente este parágrafo (p.106, 4.2.1) (embora deva ser fácil): Na Tabela 3.1 sobre ronco e doenças cardíacas no capítulo anterior, 254 indivíduos relataram ronco todas as noites, dos quais 30 …

9 r  generalized-linear-model  logistic 

Meus dados são uma série temporal da população empregada, L, e o período, ano. n.auto=auto.arima(log(L),xreg=year) summary(n.auto) Series: log(L) ARIMA(2,0,2) with non-zero mean Coefficients: ar1 ar2 ma1 ma2 intercept year 1.9122 -0.9567 -0.3082 0.0254 -3.5904 0.0074 s.e. NaN NaN NaN NaN 1.6058 0.0008 sigma^2 estimated as 1.503e-06: log likelihood=107.55 AIC=-201.1 AICc=-192.49 …

9 r  regression  arima 

O modelo de Bradley-Terry-Luce (BTL) afirma que , em que é a probabilidade de o objeto ser considerado "melhor", mais pesado, etc, do que o objecto i , e \ delta_i , e \ delta_j são parâmetros.p i j j ipj i= l o geu t- 1( δj- δEu)pjEu=euogEut-1 1(δj-δEu)p_{ji} …

9 r  logistic  categorical-data  paired-data  bradley-terry-model 

Eu calculei um modelo de regressão linear simples a partir das minhas medidas experimentais para fazer previsões. Li que você não deve calcular previsões para pontos que se afastam muito dos dados disponíveis. No entanto, não encontrei nenhuma orientação para me ajudar a saber até onde posso extrapolar. Por exemplo, …

9 regression  prediction 

Sei que essa é provavelmente uma pergunta básica ... Mas não acho a resposta. Estou ajustando um GLM com uma família Poisson e tentei dar uma olhada nas previsões, no entanto, o deslocamento parece ser levado em consideração: model_glm=glm(cases~rhs(data$year,2003)+lhs(data$year,2003), offset=(log(population)), data=data, subset=28:36, family=poisson()) predict (model_glm, type="response") Recebo casos, não taxas …

9 r  generalized-linear-model  prediction  offset