Existem vários artigos de Markus Püschel em seu site aqui que discutem algoritmos do tipo Cooley-Tukey (então, acho que "rápidos") para transformações de rede, como DFTs em redes 2-D triangulares e hexagonais. No caso triangular, ele chama a DFT de transformada em triângulo discreto (TDT). Markus tem um código chamado SPIRAL que gera automaticamente código para transformações, mas parece que esse trabalho de TDT não faz parte do SPIRAL e não há nenhuma implementação em seu site que eu possa encontrar. Estou começando a pensar que o @JM está certo e que você pode precisar implementar sua própria implementação.
Uma coisa que os resumos observam é que, para treliças triangulares e hexagonais 2-D, a transformação não é separável em componentes 1-D, portanto, você não poderá reduzir o problema para duas transformações 1-D.