Como definir o número de clusters no cluster K-means?

Existe alguma maneira de determinar o número ideal de cluster ou devo tentar valores diferentes e verificar as taxas de erro para decidir sobre o melhor valor?

clustering unsupervised-learning

— Berkay
fonte

@berkay Como você define uma taxa de erro para esse método não supervisionado? (ou você quer dizer o dentro SS?)

— chl

@chl, eu posso usar soma dos erros quadrados para todos os clusters ou precisão geral (neste caso, eu sei que os rótulos de classe.)

— berkay

@berkay Um algoritmo simples para encontrar os clusters de nº é calcular o WSS médio para 20 execuções de k-médias em um número crescente de clusters (começando com 2 e terminando com digamos 9 ou 10) e manter a solução que possui WSS mínimo sobre esse conjunto de clusters. Outro método é a estatística Gap . Mas se você já possui instâncias rotuladas, por que está tentando um método não supervisionado?

— chl 31/03

@chl obrigado, boa pergunta, podemos adivinhar os clusters dependendo dos recursos das intenções, estou analisando as novas características de intrusão, imitação de aplicações legais.

— berkay

Eu respondi a um Q semelhante com meia dúzia de métodos (usando R) aqui: stackoverflow.com/a/15376462/1036500

— Ben

O método que eu uso é usar o CCC (Cubic Clustering Criteria). Procuro que o CCC aumente ao máximo à medida que incremento o número de clusters em 1 e, em seguida, observo quando o CCC começa a diminuir. Nesse ponto, tomo o número de clusters no máximo (local). Isso seria semelhante ao uso de um gráfico de scree para selecionar o número de componentes principais.

Relatório Técnico SAS A-108 Critério de agrupamento cúbico ( pdf )

= número de observações = número no cluster = número de variáveis = número de clusters = matriz de dados = matriz do cluster significa = indicador do cluster ( se obs . em conjunto , 0 de outro modo) $n$
$n_k$ $k$
$p$
$q$
$X$ $n\times p$
$M$ $q\times p$
$Z$ $z_{ik}=1$ $i$ $k$

Suponha que cada variável tenha média 0:
, $Z’Z = \text{diag}(n_1, \cdots, n_q)$ $M = (Z’Z)-1Z’X$

Matriz (total) = = (entre os aglomerados) matriz = = (dentro dos aglomerados) matriz = = $SS$ $T$ $X’X$
$SS$ $B$ $M’ Z’Z M$
$SS$ $W$ $T-B$

(trace = soma dos elementos diagonais) $R^2 = 1 – \frac{\text{trace(W)}}{\text{trace}(T)}$

Empilhe colunas de em uma coluna longa. Regress no produto de Kronecker de com matriz identidade Computar para esta regressão - mesmo $X$
$Z$ $p\times p$
$R^2$ $R^2$

A idéia CCC é comparar a você começa para um determinado conjunto de clusters com o que se obtém agrupando um conjunto distribuído uniformemente de pontos em espaço dimensional. $R^2$ $R^2$ $p$

— Ralph Winters
fonte

Existem outros critérios além do CCC. Consulte Determinando o número de clusters em um conjunto de dados , para ver os principais.

— Vincent Labatut