Perguntas com a marcação «missing-data»

Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Quais são as razões teóricas para não lidar com valores ausentes? Máquinas de aumento de gradiente, árvores de regressão lidam com valores ausentes. Por que a Random Forest não faz isso?

42 random-forest  missing-data  gbm 

Refiro-me a este artigo: Hayes JR, Groner JI. "Usando várias pontuações de imputação e propensão para testar o efeito de assentos de carro e uso de cinto de segurança na gravidade de lesões de dados de registro de trauma" J Pediatr Surg. Maio de 2008; 43 (5): 924-7. Neste estudo, …

34 missing-data  propensity-scores 

Eu tenho um conjunto de dados. Existem muitos valores ausentes. Para algumas colunas, o valor ausente foi substituído por -999, mas em outras colunas, o valor ausente foi marcado como 'NA'. Por que usaríamos -999 para substituir o valor ausente?

32 missing-data 

Eu gostaria de regredir um vetor B contra cada uma das colunas da matriz A. Isso é trivial se não houver dados ausentes, mas se a matriz A contiver valores ausentes, minha regressão contra A é restrita a incluir apenas linhas em que todas valores estão presentes (o comportamento padrão …

32 r  missing-data  linear-model 

Estou usando o sinal de intercalação para executar uma floresta aleatória validada cruzada em um conjunto de dados. A variável Y é um fator. Não há NaN, Inf ou NA no meu conjunto de dados. No entanto, ao executar a floresta aleatória, recebo Error in randomForest.default(m, y, ...) : NA/NaN/Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Eu prefiro o sinal de intercalação por sua capacidade de ajuste de parâmetros e interface uniforme, mas observei que ele sempre exige conjuntos de dados completos (ou seja, sem NAs), mesmo que o modelo "nu" aplicado permita NAs. Isso é muito incômodo, pois é necessário aplicar métodos de imputação trabalhosos, …

26 r  missing-data  data-imputation  caret 

Estou tentando desenvolver um modelo preditivo usando dados clínicos de alta dimensão, incluindo valores laboratoriais. O espaço de dados é escasso com amostras de 5k e 200 variáveis. A idéia é classificar as variáveis ​​usando um método de seleção de recursos (IG, RF etc.) e usar recursos de alta classificação …

25 machine-learning  missing-data 

Eu li algumas explicações do algoritmo EM (por exemplo, do reconhecimento de padrões e aprendizado de máquina de Bishop e do primeiro curso de Roger e Gerolami sobre aprendizado de máquina). A derivação do EM está bem, eu entendo. Também entendo por que o algoritmo cobre algo: em cada etapa, …

24 missing-data  convergence  expectation-maximization 

Nota: Estou postando uma pergunta de um ex-aluno meu incapaz de postar por conta própria por motivos técnicos. Dada uma amostra iid de uma distribuição Weibull com pdf existe uma representação variável ausente útil e, portanto, um algoritmo EM (maximização de expectativa) associado que pode ser usado para encontrar o …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

Eu usei a prcomp()função para executar um PCA (análise de componentes principais) em R. No entanto, há um erro nessa função, de modo que o na.actionparâmetro não funciona. Eu pedi ajuda no stackoverflow ; dois usuários ofereceram duas maneiras diferentes de lidar com NAvalores. No entanto, o problema com as …

23 r  pca  missing-data  data-imputation 

Quais são os métodos que os algoritmos de aprendizado da árvore de decisão usam para lidar com os valores ausentes. Eles simplesmente preenchem o espaço usando um valor chamado ausente? Obrigado.

21 missing-data  cart 

Eu tenho um grande conjunto de vetores de recursos que utilizarei para atacar um problema de classificação binária (usando o scikit learn em Python). Antes de começar a pensar em imputação, estou interessado em tentar determinar a partir das partes restantes dos dados se os dados ausentes estão "ausentes aleatoriamente" …

21 missing-data  randomness 

Eu usei várias imputações para obter vários conjuntos de dados concluídos. Eu usei métodos bayesianos em cada um dos conjuntos de dados concluídos para obter distribuições posteriores para um parâmetro (um efeito aleatório). Como posso combinar / agrupar os resultados para este parâmetro? Mais contexto: Meu modelo é hierárquico no …

20 bayesian  mixed-model  missing-data 

Quais são as principais diferenças entre dados esparsos e dados ausentes? E como isso influencia o aprendizado de máquina? Mais especificamente, que efeito os dados esparsos e ausentes têm sobre algoritmos de classificação e algoritmos de regressão (números preditores). Estou falando de uma situação em que a porcentagem de dados …

20 machine-learning  dataset  missing-data  sparse