Perguntas com a marcação «large-data»

Estou examinando uma parte do meu conjunto de dados contendo 46840 valores duplos, variando de 1 a 1690, agrupados em dois grupos. Para analisar as diferenças entre esses grupos, comecei examinando a distribuição dos valores para escolher o teste certo. Seguindo um guia sobre testes de normalidade, fiz um qqplot, …

12 r  normal-distribution  normality-assumption  large-data 

Como você realiza testes de hipóteses com big data? Eu escrevi o seguinte script do MATLAB para enfatizar minha confusão. Tudo o que ele faz é gerar duas séries aleatórias e executar uma regressão linear simples de uma variável na outra. Ele realiza essa regressão várias vezes usando diferentes valores …

12 hypothesis-testing  large-data 

Estou procurando um modelo entre os preços das ações e o clima. Tenho o preço do MWatt comprado entre os países da Europa e muitos valores sobre o clima (arquivos Grib). A cada hora em um período de 5 anos (2011-2015). Preço / dia Isso é por dia durante um …

11 time-series  forecasting  predictive-models  modeling  large-data 

Eu sou um R noob que é obrigado a fazer vários tipos de análise em grandes conjuntos de dados em R. Então, enquanto olhava este site e outros lugares, me pareceu que há muitos problemas esotéricos e menos conhecidos envolvidos aqui - como qual pacote usar quando, quais transformações (não) …

11 r  large-data 

O método clássico de análise de componentes principais (PCA) é fazê-lo em uma matriz de dados de entrada cujas colunas têm média zero (o PCA pode "maximizar a variação"). Isso pode ser alcançado facilmente centralizando as colunas. No entanto, quando a matriz de entrada for esparsa, a matriz centralizada será …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Para melhor fazer minha pergunta, forneci algumas das saídas de um modelo com 16 variáveis ​​( fit) e um modelo com 17 variáveis ​​( fit2) abaixo (todas as variáveis ​​preditivas nesses modelos são contínuas, onde a única diferença entre esses modelos é que fitnão contém a variável 17 (var17)): fit …

10 r  regression  logistic  model-selection  large-data 

Faz sentido calcular intervalos de confiança e testar hipóteses quando os dados de toda a população estão disponíveis? Na minha opinião, a resposta é não, pois podemos calcular com precisão os verdadeiros valores dos parâmetros. Mas então, qual é a proporção máxima de dados da população original que nos permite …

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

Costumo lidar com uma quantidade de tamanho razoável de dados de séries temporais, 50 a 200 milhões de vezes com registros de data e hora associados e gostaria de visualizá-los dinamicamente. Existe software existente para fazer isso de forma eficaz? E as bibliotecas e formatos de dados? O cache de …

10 time-series  data-visualization  large-data  interactive-visualization 

Eu tenho acesso a um conjunto de dados muito grande. Os dados são de gravações do MEG de pessoas ouvindo trechos musicais, de um dos quatro gêneros. Os dados são os seguintes: 6 Sujeitos 3 Repetições experimentais (épocas) 120 tentativas por época 8 segundos de dados por tentativa a 500Hz …

10 machine-learning  feature-selection  large-data  feature-construction 

Basicamente, existem duas maneiras comuns de aprender com grandes conjuntos de dados (quando você se depara com restrições de tempo / espaço): Trapaça :) - use apenas um subconjunto "gerenciável" para treinamento. A perda de precisão pode ser insignificante por causa da lei dos retornos decrescentes - o desempenho preditivo …

10 machine-learning  large-data  model-evaluation  train 

Como não tenho experiência no setor de mineração de dados ou big data, gostaria de ouvi-lo compartilhar alguma experiência. As pessoas realmente executam k-means, PAM, CLARA etc. em um conjunto de dados realmente grande? Ou eles apenas escolhem aleatoriamente uma amostra? Se eles coletassem apenas uma amostra do conjunto de …

10 clustering  data-mining  k-means  convergence  large-data 

Só queria ver se alguém tem alguma experiência em aplicar a regressão de processo Gaussiana (GPR) a conjuntos de dados de alta dimensão. Estou examinando alguns dos vários métodos GPR esparsos (por exemplo, pseudo-entradas GPR esparsas) para ver o que poderia funcionar para conjuntos de dados de alta dimensão, onde …

10 machine-learning  predictive-models  large-data  gaussian-process 

Considerando o número de recursos constante, o Barnes-Hut t-SNE possui uma complexidade de , projeções aleatórias e PCA têm uma complexidade de tornando-os "acessíveis" para conjuntos de dados muito grandes.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Por outro lado, os métodos baseados no dimensionamento multidimensional têm uma complexidade .O(n2)O(n2)O(n^2) Existem outras técnicas de redução de …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

Atualmente, os algoritmos de aprendizado de máquina escalonáveis ​​parecem o burburinho. Toda empresa está lidando com nada além de big data . Existe um livro que discute quais algoritmos de aprendizado de máquina podem ser escalados usando arquiteturas paralelas como Map-Reduce e quais algoritmos não? Ou alguns documentos relevantes?

9 machine-learning  large-data 

Os seguintes enxertos são retirados deste artigo . Eu sou novato no bootstrap e estou tentando implementar o bootstrap paramétrico, semiparamétrico e não paramétrico para o modelo misto linear com o R bootpacote. Código R Aqui está o meu Rcódigo: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography