Perguntas com a marcação «clustering»

Considere o contexto de um cluster de dendrograma. Vamos chamar de divergências originais as distâncias entre os indivíduos. Após a construção do dendrograma, definimos a dissimilaridade copenética entre dois indivíduos como a distância entre os grupos aos quais esses indivíduos pertencem. Algumas pessoas consideram que a correlação entre as dissimilaridades …

10 clustering  classification 

Suponha que eu tenho 400 estudantes (que estão em uma grande universidade) que precisam fazer um projeto de ciência da computação e que precisam trabalhar sozinhos (sem grupo de estudantes). Um exemplo de projeto poderia ser "implementando um algoritmo de transformação rápida de fourier no fortran" (eu sei, isso não …

10 hypothesis-testing  clustering 

Eu tenho várias distribuições (10 distribuições na figura abaixo). De fato, estes são histogramas: existem 70 valores no eixo x, que são os tamanhos de algumas partículas em uma solução e para cada valor de x o valor correspondente de y é a proporção de partículas cujo tamanho é em …

10 clustering 

Eu tenho um monte de variáveis ​​que contêm dados longitudinais do dia 0 ao dia 7. Estou procurando uma abordagem de cluster apropriada que possa agrupar essas variáveis ​​longitudinais (não casos) em grupos diferentes. Tentei analisar esses dados separadamente por tempo, mas o resultado foi bastante difícil de ser razoavelmente …

10 clustering 

Para algum algoritmo de reconstrução de volume em que estou trabalhando, preciso detectar um número arbitrário de padrões circulares nos dados de pontos 3D (provenientes de um dispositivo LIDAR). Os padrões podem ser arbitrariamente orientados no espaço e supõe-se que estejam (embora não perfeitamente) em planos 2d finos. Aqui está …

10 clustering  image-processing 

Estou tendo dificuldades para entender um ou dois aspectos do pacote de cluster. Estou seguindo o exemplo do Quick-R de perto, mas não entendo um ou dois aspectos da análise. Eu incluí o código que estou usando para este exemplo em particular. ## Libraries library(stats) library(fpc) ## Data mydata = …

10 r  clustering 

Qual é a justificativa, se houver, para usar a Análise Discriminante (DA) nos resultados de um algoritmo de agrupamento como k-means, como eu o vejo de tempos em tempos na literatura (essencialmente sobre subtipos clínicos de transtornos mentais)? Geralmente, não é recomendável testar diferenças de grupo nas variáveis ​​usadas durante …

10 clustering  discriminant-analysis 

Como não tenho experiência no setor de mineração de dados ou big data, gostaria de ouvi-lo compartilhar alguma experiência. As pessoas realmente executam k-means, PAM, CLARA etc. em um conjunto de dados realmente grande? Ou eles apenas escolhem aleatoriamente uma amostra? Se eles coletassem apenas uma amostra do conjunto de …

10 clustering  data-mining  k-means  convergence  large-data 

Eu tenho um conjunto de dados de 50 amostras. Cada amostra é composta por 11 recursos booleanos (possivelmente correlacionados). Gostaria de visualizar como essas amostras são plotadas em 2D e examinar se existem agrupamentos / agrupamentos entre as 50 amostras. Eu tentei as duas abordagens a seguir: (a) Execute o …

10 clustering  data-visualization  pca  k-means  spectral-analysis 

Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

Estou lendo um livro "Machine learning with Spark", de Nick Pentreath, e na página 224-225 o autor discute sobre o uso de meios K como forma de redução de dimensionalidade. Eu nunca vi esse tipo de redução de dimensionalidade, ele tem um nome ou é útil para formas específicas de …

10 clustering  k-means  dimensionality-reduction 

Quando fazemos classificação e regressão, geralmente definimos conjuntos de teste e treinamento para nos ajudar a construir e aprimorar modelos. No entanto, quando fazemos cluster, também precisamos definir conjuntos de teste e treinamento? Por quê?

10 machine-learning  clustering  unsupervised-learning 

Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última camada. …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Estou tentando avaliar o desempenho do cluster. Eu estava lendo a documentação do skiscit-learn em métricas . Eu não entendo a diferença entre ARI e AMI. Parece-me que eles fazem a mesma coisa de duas maneiras diferentes. Citando a partir da documentação: Dado o conhecimento das atribuições básicas da classe …

9 clustering  python  scikit-learn 

Estou tentando implementar o modelo de Mistura Gaussiana com inferência variacional estocástica, seguindo este artigo . Este é o pgm da mistura gaussiana. De acordo com o artigo, o algoritmo completo de inferência variacional estocástica é: E ainda estou muito confuso sobre o método para escalá-lo para GMM. Primeiro, pensei …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes