O Apt só pode instalar coisas que estão realmente nos repositórios. Pacotes substituídos são removidos dos repositórios. O Debian disponibiliza versões mais antigas de seus repositórios de forma compatível com o apt-get no snapshot.debian.org, mas eu não conheço nenhum equivalente direto para o Ubuntu.
Versões mais antigas dos pacotes do ubuntu estão disponíveis para download na barra de ativação. Infelizmente, o procedimento para encontrá-los não é especialmente óbvio. Tanto quanto posso dizer, você terá que baixar manualmente esses pacotes e instalá-los com o dpkg -i
Se você for a um pacote de código-fonte na barra de ativação (por exemplo, https://launchpad.net/ubuntu/+source/openssl ), poderá clicar em "visualizar o histórico completo de publicação". Isso o levará a uma página com uma longa lista de versões. Encontre o que você deseja e ele o levará a uma página para essa versão (por exemplo, https://launchpad.net/ubuntu/+source/openssl/1.0.1-4ubuntu5.31 ) nessa página, você encontrará links para o cria para arquiteturas diferentes e essas páginas terão links para download dos pacotes criados a partir da fonte. Você pode baixá-los.
Nota: nesse caso, os links para as compilações vão para as páginas que referenciam o "PPA da equipe de segurança". Isso se deve ao fato de as atualizações de segurança serem construídas primeiro em um PPA e depois migradas apenas para o arquivo principal do ubuntu.
PS Observe que o pacote binário "openssl" contém ferramentas. As bibliotecas openssl (que eu acho que você realmente gosta) estão no pacote "libssl1.0.0".
PPS Se você não quiser que sua próxima execução do apt-get upgrade ou similar atualize o pacote novamente, será necessário configurar alguma forma de retenção ou fixação para impedir que isso aconteça.