É fácil fazer isso. Usando um Octtree, você simplesmente divide o mundo em pedaços progressivamente menores até atingir o nível de detalhe necessário. Pode ser do tamanho de um grão de areia, por exemplo. Pense Minecraft levado ao extremo.
O que você renderiza então? Se os detalhes forem pequenos o suficiente, considere a possibilidade de renderizar blocos - os nós das folhas da árvore octológica. Outras opções incluem esferas ou mesmo primitivas geométricas. Uma cor e um normal podem ser armazenados em cada nó e, para um LOD reduzido, é possível armazenar informações compostas em níveis mais altos da árvore.
Como você pode gerenciar tantos dados? Se a árvore é uma estrutura de dados real, você pode fazer com que vários ponteiros façam referência às mesmas subárvores, como reutilizar uma textura, mas também inclui geometria. O truque é obter o máximo de reutilização possível em todos os níveis. Por exemplo, se você conectar 4 octantes em arranjo tetraédrico ao mesmo nó filho em todos os níveis, poderá criar um fractal 3d sierpinsky muito grande usando quase nenhuma memória. A cena real será muito maior, é claro.
O problema é que ele funcionará apenas para geometria estática, porque a animação real exigiria a manipulação de todos os dados a cada quadro. A renderização, no entanto, especialmente com a variável LOD, não é problema.
Como renderizar uma coisa dessas? Sou um grande fã de ray tracing e lida com esse tipo de coisa muito bem com e sem uma GPU.
Tudo isso é especulação, é claro. Não tenho informações específicas sobre o caso de que você está falando. E agora, algo relacionado, mas diferente:
Uma enorme quantidade de dados renderizados
EDIT E aqui está uma que eu fiz, mas alterei deliberadamente as normais para tornar as caixas mais aparentes:
Stanford bunny em voxels
Essa taxa de quadros estava em um único núcleo IIRC. Dobrar a profundidade da árvore geralmente diminui a taxa de quadros pela metade, enquanto o uso de múltiplos núcleos aumenta de tamanho. Normalmente mantenho primitivas (triângulos e coisas assim) em minha árvore oculta, mas, para sorrisos, decidi renderizar os nós das folhas da própria árvore nesse caso. Melhor desempenho pode ser obtido se você otimizar um método específico, é claro.
Em algum lugar da ompf há um carro feito com voxels que é realmente fantástico - exceto que é estático. Não consigo encontrá-lo agora ...