Um Octree (3D) usa os mesmos conceitos que um Quadtree (2D). Se você ler e entender o artigo da Wikipedia sobre Quadtrees, poderá aplicar os mesmos conceitos em 3D.
Essas duas árvores permitem que você use pesquisas com base em área que podem reduzir bastante o número de comparações necessárias para descobrir quais objetos estão em uma determinada área. Isso pode ser útil para visualização, ou mesmo para colisões, dependendo do seu jogo.
O conceito básico é que o espaço do mundo seja dividido em "baldes": quadrados para 2D ou cubos para 3D. Com um mundo vazio, você começa com um único quadrado ou balde de cubos que cobre o mundo inteiro. Ao adicionar objetos ao mundo, você começa no nó raiz e trabalha na árvore com base na localização e tamanho do objeto. Se o intervalo de destino atingir a capacidade, você o subdividirá dividindo quadrados em 4 quadrados menores (Quadtree) ou dividindo cubos em 8 cubos menores (Octree). Cada objeto que você adiciona ao mundo é inserido apenas tão profundamente na árvore, pois pode caber fisicamente completamente dentro dos limites do balde. Se um objeto não couber dentro dos limites do depósito atual, você deve mover o objeto para o menor depósito pai no qual ele se encaixa completamente.
Observe que o uso de um Quadtree ou Octree é um exagero se você não tiver muitos objetos em seu mundo. Existem também soluções de código aberto para ambos.