Ele menciona no prefácio que os programas de referência estão em Haskell. A formatação é LaTeX, por isso parece um pouco estranha.
Eu pesquisei um pouco mais e acontece que a notação matemática usada é chamada de " Notação Z " após a notação da teoria dos conjuntos de Zermelo-Fraenkel. Aqui está um guia , o PDF é o segundo link na lista. A notação faz parte de um tipo mais amplo de notação chamado Código Pidgin :
Na programação de computadores, o código pidgin é uma mistura de várias linguagens de programação no mesmo programa ou pseudocódigo que é uma mistura de uma linguagem de programação com descrições de linguagem natural. Daí o nome: a mistura é uma linguagem de programação análoga a um pidgin em linguagens naturais.
Na computação numérica, o pseudocódigo no estilo matemático às vezes é chamado de código pidgin, por exemplo, pidgin ALGOL (a origem do conceito), pidgin Fortran, pidgin BASIC, pidgin Pascal e pidgin C. É uma notação compacta e geralmente informal que combina a sintaxe usada de uma linguagem de programação convencional com notação matemática, normalmente usando teoria de conjuntos e operações de matriz, e talvez também descrições de linguagem natural.
Ele pode ser entendido por uma ampla gama de pessoas matematicamente treinadas e é usado como uma maneira de descrever algoritmos nos quais a estrutura de controle é explicitada com um nível bastante alto de detalhes, enquanto algumas estruturas de dados ainda são deixadas em um nível abstrato, independente de qualquer linguagem de programação específica.
Normalmente, a tipografia não ASCII é usada para as equações matemáticas, por exemplo, por meio da marcação TeX ou MathML, ou formatos proprietários do editor de fórmulas.