Realmente faz diferença qual é a entrada para o algoritmo: como você especifica um grupo?
Se você deseja grupos dados por geradores e reladores, sugiro a Teoria Combinatória de Grupos , de Magnus, Karrass e Solitar (mas os algoritmos são escassos, porque muitos dos problemas importantes são indecidíveis).
Se você deseja grupos automáticos (grupos cujos elementos são cadeias de símbolos e cujas operações de grupo são executadas por autômatos finitos, com aplicativos em topologia de baixa dimensão), sugiro Processamento de texto em grupos por Epstein (não eu!), Cannon, Holt , Levy, Paterson e Thurston.
Se você deseja grupos de permutação (o tipo de algoritmo teórico de grupo que é mais relevante, por exemplo, para isomorfismo de gráfico), o Seress tem um livro Algoritmos de Grupo de Permutação, mas eu não tenho uma cópia, então não posso lhe dizer se é bom.
Deve haver um quarto parágrafo aqui sobre algoritmos de grupos de matrizes, mas não conheço um livro sobre esse tópico. Há uma pequena cobertura no livro de Seress.