Estatísticas e Big Data

Estou estudando duas populações geograficamente isoladas da mesma espécie. Inspecionando as distribuições, vejo que ambas são bimodais (há certa sazonalidade em sua ocorrência), mas os picos em uma população são muito mais altos e mais estreitos (ou seja, a variação dos picos locais é menor). Que tipo de teste estatístico …

8 distributions  statistical-significance  variance 

Ao fazer algumas simulações, percebi que o quantil da amostra é um estimador tendencioso do quantil verdadeiro. E, de acordo com minhas simulações, uma potencialmente muito tendenciosa. Fiquei surpreso com esse resultado, pois o CDF empírico não é tendencioso, mas depois de algumas pesquisas na Internet, descobri que era verdade …

8 estimation  quantiles 

Há um tempo atrás, fiz uma pergunta sobre a correlação dos tempos entre os carimbos de data e hora e recebi uma resposta de Peter Ellis que dizia que eu podia calcular as distâncias médias entre os códigos ... Isso já lhe dará uma noção de quais comportamentos estão agrupados, …

8 bootstrap  monte-carlo  resampling  quasi-monte-carlo 

Para um aplicativo, quero agrupar dados (potencialmente dimensionais) e extrair a probabilidade de pertencer a um cluster. Eu considero no momento mapas auto-organizados ou kernel significa fazer o trabalho. Quais são os prós e os contras de cada classificador para esta tarefa? Estou com saudades de outros algoritmos de cluster …

8 clustering  unsupervised-learning 

Subitização é a enumeração rápida e precisa de telas de baixa numerosidade, diferenciada da contagem por uma não linearidade acentuada no gráfico dos tempos de resposta. Abaixo está um gráfico representativo, de Watson, DG, Maylor, EA e Bruce, LAM (2007). Observe que o tempo médio de enumeração para as exibições …

8 linear-model  contrasts 

Em uma palestra recente, disseram-me que, para que a estimativa de probabilidade máxima seja válida, a probabilidade de log precisa ir para menos infinito, pois o parâmetro vai para o limite do espaço de parâmetro. Mas não entendo por que isso é essencial. Suponha que a probabilidade do log vá …

8 maximum-likelihood 

Minha pergunta geral é: por que usar em bayesglmvez de outros métodos de classificação? Nota: Estou interessado apenas em previsão. Eu tenho uma quantidade decente de dados (~ 100.000 obs). Sinto que o tamanho da amostra é grande o suficiente para que os parâmetros de uma regressão logística regular sejam …

8 bayesian  generalized-linear-model 

Eu tenho o seguinte tipo de dados (codificado em R): v.a = c('cat', 'dog', 'dog', 'goat', 'cat', 'goat', 'dog', 'dog') v.b = c(1, 2, 1, 2, 1, 2, 1, 2) v.c = c('blue', 'red', 'blue', 'red', 'red', 'blue', 'yellow', 'yellow') set.seed(12) v.d = rnorm(8) aov(v.a ~ v.b + v.c + …

8 r  logistic  anova  categorical-data  multinomial 

A natureza discreta do DP o torna inadequado para aplicações gerais em não paramétricos bayesianos, mas é adequado para o problema de colocar anteriores nos componentes da mistura na modelagem de mistura. Esta citação é de Hierarchical Dirichlet Processes (Teh, et al, (2006) [ 1]. ) e eu estava procurando …

8 machine-learning  mcmc  dirichlet-process 

Eu tenho um conjunto de dados pequeno e desequilibrado (70 positivo, 30 negativo) e ando brincando com a seleção de modelos para parâmetros SVM usando BAC (precisão balanceada) e AUC (área sob a curva). Usei pesos de classe diferentes para o parâmetro C no libSVM para compensar os dados desequilibrados, …

8 svm  cross-validation  model-selection  auc 

Seria possível aproximar com precisão as quantidades relativas de Loonies , Twoonies , moedas, moedas de dez centavos, nickles (e talvez o centavo descontinuado) em circulação, simplesmente obtendo uma amostra suficientemente grande de moedas pelo uso diário? No uso diário, refiro-me às moedas que você troca novamente quando faz uma …

8 self-study  application 

Estou tentando prever uma variável de resposta na regressão linear que deve ser sempre positiva (custo por clique). É uma quantia monetária. No adwords, você paga ao google pelos cliques nos seus anúncios, e um número negativo significa que o google paga quando as pessoas clicam: P Os preditores são …

8 regression  predictive-models 

Estou tentando gerar conjuntos de variáveis ​​aleatórias causalmente conectadas e comecei a fazer isso com uma abordagem de monte carlo. A linha de base é um histograma medido bidimensional a partir do qual eu desenho valores aleatórios. Nos meus exemplos concretos destas variáveis são a aceleração e velocidade - então …

8 monte-carlo  random-generation 

Esta questão surgiu em outro tópico que eu comecei, então pensei em obter mais opiniões das pessoas sobre isso. Minha pergunta é O residual, e, é um estimador do erro, ?ϵϵ\epsilon A razão pela qual pergunto é a seguinte. No OLS, a variação dos resíduos, , é conhecida como variação …

8 standard-error  residuals  error  estimators 

Estou trabalhando com o código de floresta aleatória de Breiman ( http://stat-www.berkeley.edu/users/breiman/RandomForests/cc_manual.htm#c2 ) para classificação de dados de satélite (aprendizado supervisionado). Estou usando um conjunto de dados de treinamento e teste com tamanho de amostra de 2000 e tamanho variável 10. Os dados são classificados em duas classes, A e …

8 machine-learning  classification  random-forest