Na verdade, o kernel fornecido pela sua distro é provavelmente o melhor para quase todo mundo. O que praticamente cada distro está fazendo é compilar todas as opções como módulos e carregar dinamicamente os módulos conforme eles são necessários.
É um bom exercício, especialmente se você estiver interessado em aprender sobre o kernel, mas quanto às operações do dia a dia, os benefícios de desempenho em um desktop ou estação de trabalho serão mínimos ou inexistentes, mesmo com as melhores otimizações de tempo de compilação. sua CPU específica.
Se você está fazendo isso pela educação mais do que pelo desempenho, sugiro que você tente compilar o maior número possível de maneiras diferentes. Compile tudo como módulos e, em seguida, compile tudo o que estiver estático (e veja como o kernel é enorme), então tente compilar um kernel mínimo, mantendo todo o seu hardware funcionando. Tente alguns recursos experimentais (provavelmente em uma VM embora ;-)). Divirta-se com isso.