Perguntas com a marcação «clustering»

Eu tenho um conjunto de dados X que tem 10 dimensões, 4 das quais são valores discretos. De fato, essas 4 variáveis ​​discretas são ordinais, ou seja, um valor mais alto implica uma semântica maior / melhor. 2 dessas variáveis ​​discretas são categóricas no sentido de que, para cada uma …

33 clustering  k-means  discrete-data  continuous-data  gaussian-mixture 

Estou executando um cluster hierárquico de dados que reuni e processei no despejo de dados do reddit no Google BigQuery. Meu processo é o seguinte: Receba as últimas 1000 postagens em / r / policy Reúna todos os comentários Processar os dados e calcular uma n x mmatriz de dados …

33 clustering  distance  unsupervised-learning  hierarchical-clustering 

Antecedentes : quero classificar as áreas residenciais de uma cidade em grupos com base em suas características socioeconômicas, incluindo densidade de unidades habitacionais, densidade populacional, área de espaços verdes, preço da habitação, número de escolas / centros de saúde / creches, etc. Quero entender em quantos grupos diferentes as áreas …

32 clustering  pca  k-means  dimensionality-reduction 

Eu encontrei extensa literatura propondo todos os tipos de critérios (por exemplo, Glenn et al. 1985 (pdf) e Jung et al. 2002 (pdf)). No entanto, a maioria delas não é tão fácil de implementar (pelo menos da minha perspectiva). Estou usando o scipy.cluster.hierarchy para obter uma hierarquia de cluster e …

32 clustering 

Tenho o seguinte problema em mãos: Tenho uma lista muito longa de palavras, possivelmente nomes, sobrenomes etc. É necessário agrupar essa lista de palavras, de modo que palavras semelhantes, por exemplo palavras com distância de edição semelhante (Levenshtein), apareçam no mesmo cluster. Por exemplo, "algoritmo" e "alogritmo" devem ter grandes …

31 clustering  k-means  pattern-recognition 

Quais são as diferenças nas inferências que podem ser feitas a partir de uma análise de classe latente (ACV) versus uma análise de cluster? É correto que uma ACV assuma uma variável latente subjacente que dê origem às classes, enquanto a análise de cluster é uma descrição empírica de atributos …

30 clustering  latent-variable  latent-class 

Vou explicar meu problema com um exemplo. Suponha que você queira prever a renda de um indivíduo, com alguns atributos: {Idade, Sexo, País, Região, Cidade}. Você tem um conjunto de dados de treinamento como esse train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

[O título inicial "Medição de similaridade para árvores de cluster hierárquicas" foi posteriormente alterado por @ttnphns para refletir melhor o tópico] Estou realizando várias análises hierárquicas de cluster em um quadro de dados de registros de pacientes (por exemplo, semelhante a http://www.biomedcentral.com/1471-2105/5/126/figure/F1?highres=y ) Estou experimentando diferentes medidas de distância , …

28 r  clustering  distance-functions  similarities  dendrogram 

Acabei de me deparar com este artigo , que descreve como calcular a repetibilidade (também conhecida como confiabilidade, também conhecida como correlação intraclasse) de uma medição via modelagem de efeitos mistos. O código R seria: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Eu gostaria de entender, qual é a principal diferença de implementação entre os algoritmos de agrupamento padrão e esférico de k-means. Em cada etapa, k-means calcula as distâncias entre vetores de elementos e centróides do cluster e reatribui o documento a esse cluster, cujo centróide é o mais próximo. Então, …

28 clustering  data-mining  algorithms  k-means 

Eu tenho uma matriz em que a (i, j) me diz quantas vezes eu visualizei a página j. Existem 27 mil indivíduos e 95 mil páginas. Eu gostaria de ter um punhado de "dimensões" ou "aspectos" no espaço das páginas que corresponderiam a conjuntos de páginas que geralmente são vistos …

28 r  clustering  dimensionality-reduction 

Preciso usar variáveis ​​binárias (valores 0 e 1) em médias k. Mas k-means funciona apenas com variáveis ​​contínuas. Eu sei que algumas pessoas ainda usam essas variáveis ​​binárias em k-means, ignorando o fato de que k-means é projetado apenas para variáveis ​​contínuas. Isso é inaceitável para mim. Questões: Então, qual …

27 r  clustering  binary-data  k-means  mixed-type-data 

Ao executar o cluster hierárquico, é possível usar muitas métricas para medir a distância entre os clusters. Duas dessas métricas implicam o cálculo dos centróides e meios de pontos de dados nos clusters. Qual é a diferença entre a média e o centróide? Estes não são o mesmo ponto no …

26 clustering  mean 

Estou investigando várias técnicas usadas no agrupamento de documentos e gostaria de esclarecer algumas dúvidas sobre o PCA (análise de componentes principais) e LSA (análise semântica latente). Primeira coisa - quais são as diferenças entre eles? Eu sei que no PCA, a decomposição de SVD é aplicada à matriz de …

25 clustering  pca  data-mining  svd  lsa 

Fiz uma análise de dados tentando agrupar dados longitudinais usando R e o pacote kml . Meus dados contêm cerca de 400 trajetórias individuais (como é chamado no artigo). Você pode ver meus resultados na figura a seguir: Depois de ler o capítulo 2.2 "Escolhendo um número ideal de clusters" …

25 r  clustering  panel-data