O ponto central do seu diagrama é uma aresta degenerada do diagrama de Voronoi. Se você gerar um diagrama de Voronoi para uma nuvem de pontos irregular, todo vértice terá grau 3. Um vértice com grau 4 (ou mais) só pode acontecer quando dois (ou mais) vértices coincidem. Isso significa que há uma borda de comprimento zero entre eles. Mas essa aresta ainda deve ter uma aresta correspondente na triangulação de Delaunay. O problema é que é arbitrário qual das duas arestas possíveis você escolhe, porque a aresta de comprimento zero não tem direção associada.
Para visualizar do que estou falando, considere começar com quatro pontos espaçados menos regularmente (de modo que começemos com apenas vértices de grau 3) e gradualmente convertendo-os em suas posições regulares.
Podemos fazer isso de duas maneiras diferentes, que levam ao caso degenerado em seu diagrama. Você verá que termina duas triangulações diferentes de Delaunay, que são limites válidos para o caso degenerado:
Suponho que seu código esteja ausente neste caso degenerado por um motivo ou outro, mas sem realmente ver como você calcula a triangulação de Delaunay a partir do diagrama de Voronoi, é impossível apontar mais adiante.
Observe também que ter degenerescências ainda mais altas (em mais de quatro pontos distribuídos em ângulos iguais em torno de um círculo) provavelmente exigiria atenção adicional:
Essas animações também mostram que (mesmo em um caso não degenerado), as bordas correspondentes de Voronoi e Delaunay não se cruzam necessariamente na sua extensão finita. Isso pode dificultar a visualização de que as 2 (ou 3) arestas que triangulam o polígono regular no final correspondem a várias arestas degeneradas que estão todas no centro. Observe também que, no total, existem 5 triangulações diferentes do pentágono e 14 triangulações do hexágono (embora eu não saiba se todos os 14 podem ser obtidos através da deformação de uma triangulação não degenerada).
Editar (por OP)
Os diagramas de Voronoi calculados com Boost.polygon permitem percorrer cada vértice de Voronoi e cada aresta vinculada a esses vértices (no sentido horário ou anti-horário). Dessa maneira, é possível criar um triângulo para cada par de arestas (duas arestas conectadas serão vinculadas a 3 células).