Respostas:
Para ser particularmente mínimo, você pode fazer o seu próprio. Aviso justo: esse é um esforço de muitas horas, mas você apreciará melhor o que é necessário para montar seu sistema operacional.
O Linux From Scratch é um guia passo a passo com manutenção muito ativa sobre isso: http://www.linuxfromscratch.org/
Red Hat ou Debian são provavelmente o que você está procurando. Você também pode instalar o Ubuntu apenas como linha de comando.
O MicroCore é uma variante apenas de linha de comando do Tiny Core Linux .
O ttylinux é extremamente leve e apenas CLI - utilitários do busybox criados a partir do uclib.
Naquela época, havia Linux On A Floppy (LOAF) e Tom's Root Boot . No entanto, eu suspeito que eles são muito super leves para drives USB :-)
Atualmente, suponho que o equivalente seja o Damn Small Linux, que será instalado em um pendrive USB inicializável.
O Ubuntu Server pode ser o que você está procurando. Como os servidores geralmente não têm cabeça, a configuração básica não contém nenhuma parte da GUI.