Perguntas com a marcação «large-data»

Eu tenho vários conjuntos de dados da ordem de milhares de pontos. Os valores em cada conjunto de dados são X, Y, Z, referindo-se a uma coordenada no espaço. O valor Z representa uma diferença na elevação no par de coordenadas (x, y). Normalmente, no meu campo de GIS, o …

9 normal-distribution  large-data 

Eu tenho um conjunto de dados com cerca de 2.000 variáveis ​​binárias / 200.000 linhas e estou tentando prever uma única variável dependente binária. Meu principal objetivo, neste estágio, não é obter precisão de previsão, mas identificar quais dessas variáveis ​​são preditores importantes. Gostaria de reduzir o número de variáveis …

9 machine-learning  data-mining  large-data 

A maioria dos algoritmos de agrupamento que eu vi começou com a criação de distâncias cada um entre todos os pontos, o que se torna problemático em conjuntos de dados maiores. Existe alguém que não faz isso? Ou faz isso em algum tipo de abordagem parcial / aproximada / escalonada? …

9 clustering  algorithms  large-data 

Tenho quase um milhão de conjuntos de dados e sempre que executo um teste de comparação médio, ANOVA ou um teste t, obtenho um nível de significância menor que 0,0001 no SPSS. Estou preocupado que minha amostra seja tão grande que, é claro, quando eu comparo os meios, ela será …

9 anova  t-test  effect-size  large-data 

Um colega em estatística aplicada me enviou o seguinte: "Gostaria de saber se você conhece alguma maneira de descobrir a verdadeira dimensão do domínio de uma função. Por exemplo, um círculo é uma função unidimensional em um espaço bidimensional. Se eu não souber desenhar, existe uma estatística que eu posso …

9 large-data 

Problema: quero realizar uma amostragem de Gibbs para inferir algumas posteriores em um grande conjunto de dados. Infelizmente, meu modelo não é muito simples e, portanto, a amostragem é muito lenta. Eu consideraria abordagens variacionais ou paralelas, mas antes de ir tão longe ... Pergunta: Gostaria de saber se poderia …

8 sampling  bootstrap  mcmc  large-data  gibbs 

Eu tenho um conjunto de dados com 5.818.446 linhas e 51 colunas, onde 50 delas são preditores. Minha resposta é quantitativa, por isso estou interessado em um modelo de regressão. Estou tentando ajustar uma floresta aleatória aos meus dados usando o pacote de intercalação. No entanto, não tenho RAM suficiente …

8 r  random-forest  large-data 

Estou tentando entender melhor a significância estatística, os tamanhos dos efeitos e similares. Tenho uma percepção (talvez errada) de que mesmo regressores irrelevantes geralmente se tornam estatisticamente significativos em grandes amostras . Por irrelevante, quero dizer que não há explicação no assunto por que o regressor deve estar relacionado à …

8 regression  statistical-significance  effect-size  large-data 

Meu projeto atual pode exigir que eu construa um modelo para prever o comportamento de um determinado grupo de pessoas. o conjunto de dados de treinamento contém apenas 6 variáveis ​​(id é apenas para fins de identificação): id, age, income, gender, job category, monthly spend em que monthly spendé a …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

Atualmente, estou preparando uma apresentação para um curso universitário em "Análise visual de dados". E um dos meus tópicos é a visualização "Star Coordinate". Star Coordinates Como o Star Coordinates realiza uma transformação de dados de alta dimensão, e a conhecida técnica PCA também o faz, pergunto-me se o PCA …

8 data-visualization  pca  large-data 

Eu sei que R não é particularmente útil para analisar grandes conjuntos de dados, uma vez que R carrega todos os dados na memória, enquanto algo como o SAS faz análise sequencial. Dito isto, existem pacotes como o bigmemory que permitem aos usuários realizar análises de grandes dados (análise estatística) …

8 r  sas  large-data 

Eu tenho um arquivo bastante larege 100M linhas e 30 colunas ou mais em que eu gostaria de executar várias regressões. Eu tenho código especializado para executar as regressões em todo o arquivo, mas o que eu gostaria de fazer é extrair amostras aleatórias do arquivo e executá-las em R. …

8 r  regression  large-data  bootstrap 

OK, eu não sou estatístico (nem de perto). Sou um pesquisador de computação de alto desempenho e queria alguns casos de teste para matrizes densas grandes (maiores que 5000 x 5000). Eu pedi aqui e em alguns outros lugares, mas nunca recebi nenhuma resposta de um estatístico. Estou muito interessado …

8 large-data  matrix 

Suponha que tenhamos um conjunto de dados com milhões de linhas e milhares de colunas e a tarefa seja a classificação binária. Quando executamos um modelo de regressão logística, o desempenho é muito melhor que o esperado, por exemplo, classificação quase perfeita. Suspeitamos que existem algumas variáveis ​​de trapaça nos …

7 algorithms  linear  large-data  high-dimensional