Se você souber de uma correção ou melhoria específica na maneira como o kernel mais recente lida com seu hardware, eu digo que faça isso.
Eu não teria feito o upgrade para um kernel da linha principal devido à falta de suporte, exceto pelo fato de estar tendo problemas com a emulação de jogos N64 rodando muito lentamente, com muitos bugs. Depois de tentar todas as configurações que pude encontrar para o emulador e o xorg, li Aqui está o porquê dos gráficos Radeon serem mais rápidos no Linux 3.12 . Isso foi o suficiente para me motivar a testá-lo, e os resultados na aparência e no desempenho foram surpreendentes, sem novos problemas ainda.
Uma coisa a observar é se você possui módulos externos (também conhecidos como fora da árvore) instalados (consulte Identificar módulos fora da árvore para ter uma idéia de onde eles estão). Se você precisar desses módulos, considere se eles serão compilados com a nova versão do kernel. Faça algumas pesquisas e teste-as você mesmo na nova versão do kernel. No pior cenário, você pode inicializar na versão anterior do kernel e desinstalar a nova.
É recomendável remover módulos externos ou proprietários antes de tentar atualizar para o kernel da linha principal. Eu tive que remover o virtualbox para evitar o "Erro! Status de retorno incorreto para a construção do módulo" durante a instalação do kernel.