Respostas:
Se você está se referindo à classificação GNU, ele implementa uma variante do algoritmo de classificação de mesclagem .
Os coreutils são de código aberto, portanto, fique à vontade para fazer o download e dar uma olhada.
O padrão POSIX relevante não determina qual algoritmo usar, portanto as implementações são livres para escolher o que elas gostam.