O que você faz quando não há ponto de cotovelo para o agrupamento de kmeans

Aprendi que, ao escolher um número de clusters, você deve procurar um ponto de cotovelo para diferentes valores de K. Plotei os valores de ininss para valores de k de 1 a 10, mas não estou vendo uma clara cotovelo. O que você faz em um caso como esse?

Método errado?

Talvez você esteja usando o algoritmo errado para o seu problema.

Pré-processamento errado?

O K-means é altamente sensível ao pré-processamento. Se um atributo estiver em uma escala muito maior que os outros, ele dominará a saída. Sua saída será efetivamente unidimensional

Visualizar resultados

Faça o que fizer, você precisará validar seus resultados com algo diferente de iniciar em um número como o SSQ. Em vez disso, considere a visualização .

A visualização também pode dizer que talvez exista apenas um único cluster nos seus dados.

Uma maneira é inspecionar manualmente os membros de seus clusters em busca de um k específico para ver se os agrupamentos fazem sentido (eles são distinguíveis?). Isso pode ser feito através de tabelas de contingência e meios condicionais. Faça isso para uma variedade de k e você pode determinar qual valor é apropriado.

Uma maneira menos subjetiva é usar o valor da silhueta:

/programming/18285434/how-do-i-choose-k-when-using-k-means-clustering-with-silhouette-function

Isso pode ser calculado com o seu pacote de software favorito. No link:

Este método apenas compara a semelhança intragrupo à semelhança de grupo mais próxima. Se qualquer distância média de um membro de dados para outros membros do mesmo cluster for maior que a distância média de alguns outros membros do cluster, esse valor será negativo e o armazenamento em cluster não será bem-sucedido. Por outro lado, valores de silhuette próximos a 1 indicam uma operação de cluster bem-sucedida. 0,5 não é uma medida exata para cluster.

• Nenhum cotovelo para K-significa não significa que não há agrupamentos nos dados;
• Nenhum cotovelo significa que o algoritmo usado não pode separar clusters; (pense nos meios K para círculos concêntricos, vs DBSCAN)

Geralmente, você pode considerar:

• ajuste seu algoritmo;
• use outro algoritmo;
• faça pré-processamento de dados.

Podemos usar o pacote NbClust para encontrar o valor mais ideal de k. Ele fornece 30 índices para determinar o número de clusters e propõe o melhor resultado.

NbClust (dados = df, distância = "euclidiano", min.nc = 2, max.nc = 15, método = "kmeans", índice = "todos")