Quebras naturais de Jenks em Python: como encontrar o número ideal de pausas?

Eu encontrei esta implementação em Python do algoritmo Jenks Natural Breaks e poderia fazê-lo rodar na minha máquina Windows 7. É bem rápido e encontra as quebras em pouco tempo, considerando o tamanho dos meus dados geográficos. Antes de usar esse algoritmo de clustering para meus dados, eu estava usando o algoritmo sklearn.clustering.KMeans (aqui) . O problema que tive com o KMeans foi encontrar o parâmetro ideal do valor K, mas "resolvi" iniciando o algoritmo para diferentes valores K e usando sklearn.metrics.silhouette_score (aqui) para encontrar o melhor K.

Minha pergunta é: se eu disser ao algoritmo Natural Breaks para encontrar 5 classes (que seria o K), como posso ter certeza de que esse é o número de classes que melhor corresponde aos meus dados? Como validar que estou escolhendo o melhor número de pausas?

Obrigado!

O Jenks Natural Breaks funciona otimizando o ajuste de qualidade de variação, um valor de 0 a 1 em que 0 = sem ajuste e 1 = ajuste perfeito. A chave na seleção do número de classes é encontrar um equilíbrio entre a detecção de diferenças e a super adequação dos dados. Para determinar o número ideal de classes, sugiro que você use um valor limite de GVF desejado e use o número de classes que satisfaz esse valor primeiro.

Abaixo está uma função para calcular o Ajuste de Variação, dada uma matriz de valores a serem classificados e o número de classes selecionadas:

from jenks import jenks
import numpy as np
def goodness_of_variance_fit(array, classes):
    # get the break points
    classes = jenks(array, classes)

    # do the actual classification
    classified = np.array([classify(i, classes) for i in array])

    # max value of zones
    maxz = max(classified)

    # nested list of zone indices
    zone_indices = [[idx for idx, val in enumerate(classified) if zone + 1 == val] for zone in range(maxz)]

    # sum of squared deviations from array mean
    sdam = np.sum((array - array.mean()) ** 2)

    # sorted polygon stats
    array_sort = [np.array([array[index] for index in zone]) for zone in zone_indices]

    # sum of squared deviations of class means
    sdcm = sum([np.sum((classified - classified.mean()) ** 2) for classified in array_sort])

    # goodness of variance fit
    gvf = (sdam - sdcm) / sdam

    return gvf

def classify(value, breaks):
    for i in range(1, len(breaks)):
        if value < breaks[i]:
            return i
    return len(breaks) - 1

Por exemplo, considere que você decide que o GVF deve ter pelo menos 0,8 e, em seguida, você pode aumentar o número de classes até que o GVF seja satisfeito:

gvf = 0.0
nclasses = 2
while gvf < .8:
    gvf = goodness_of_variance_fit(array, nclasses)
    nclasses += 1