Eu fiz algo parecido há vários anos para uma demonstração de maquete do clone "Jagged Alliance", com tema de cyberpunk, que deveria ter grandes mapas cheios de arranha-céus. Foi uma ideia estúpida, aparentemente os mapas para combate tático devem ser arrumados e facilmente compreensíveis :)
Para ter um caminho mais rápido, um mapa global foi dividido em várias áreas discretas em forma de quadrado. Depois de termos critérios para as áreas, é hora de encontrar possíveis "entradas" entre cada par de áreas adjacentes. "Entrada" é um ponto de transição que mostra que este agente pode entrar nesta área neste momento.
No seu exemplo com a construção de vários andares, cada andar seria uma área com bordas definidas pelo piso, teto e paredes externas; e vários buracos na parede ou no chão, ou escadas seriam entradas, poderia haver muitos deles. Portanto, as entradas basicamente vinculam nós de caminho de uma área para nós de caminho na outra área.
Depois de identificar as entradas, você precisará encontrar todas as maneiras possíveis de percorrer cada área, resultando em um "mapa das entradas da área para as entradas da área adjacente", com as bordas entre as entradas mostrando o comprimento desse caminho pela área.
Se tudo der certo, o seu agente no 1º andar poderá encontrar rapidamente o caminho para a caixa especial no 4º andar. Talvez algo semelhante possa ser usado no seu problema de vários mapas, então espero que ajude.