O OpenBlas é bastante rápido, então você pode vinculá-lo ao LAPACK. Você já tentou a versão pré-compilada do LAPACK / BLAS do seu fornecedor de CPU? Por exemplo, AMD ACML (gratuito) ou Intel MKL (gratuito no Linux para uso não comercial e não acadêmico)? Você simplesmente precisa descompactar e executar o arquivo de instalação.
Na minha opinião, a única vantagem de usar o ATLAS é quando você usa uma CPU incomum. Caso contrário, use o do fornecedor da CPU. Também existem as versões nVIDIA CUDA e AMD OpenCL disponíveis, que são realmente boas.
EDIT: lembre-se de que você sempre pode criar um pacote Ubuntu DEB a partir da fonte, o que geralmente é muito mais fácil do que compilar software a partir da fonte.