Muitas unidades de "pen" USB são muito lentas, principalmente para gravação, portanto pode haver muito pouco que você possa fazer além de tentar uma unidade mais rápida.
Para responder à sua pergunta direta: Você pode ter uma ideia do que está acontecendo no disco iotop -o- se for deixado em execução durante períodos ocupados que mostrarão quais processos estão executando ativamente leituras / gravações de disco e quanto. Isso pode destacar algum processo ou serviço que você pode dispensar e desativar para ajudar as coisas. Existem alguns trabalhos crons em muitas configurações do Linux que varrem uma parte do sistema de arquivos (se não todos) ocasionalmente para atualizar os caches de pesquisa (como a updatedbtarefa que atualiza os dados usados por comandos como locate) - se você encontrar um dos como está causando sua lentidão, eles podem ser removidos com segurança da lista de itens do cron para executar regularmente.
Quanta RAM você tem na máquina de destino? Se for uma máquina pequena com essa medida, isso não ajudará, pois haverá pouco espaço para armazenar em cache as leituras (para que as coisas sejam lidas novamente em pouco tempo mais tarde sejam necessárias novamente a partir do pen drive USB, em vez de uma cópia em cache na RAM).
Você também pode tentar uma versão reduzida do Ubuntu, principalmente se estiver em uma situação de pouca RAM, mas também poderá ajudar se você tiver muita RAM, mas unidades lentas, reduzindo o tempo de inicialização, se nada mais. O lubuntu é uma escolha popular para isso - todos os pacotes usuais estão disponíveis, caso você precise deles, mas instala menos por padrão, inicia menos serviços na inicialização por padrão e usa um ambiente de desktop de menor peso (tudo que não seja essas alterações é o mesmo arranjo , então você deve achar isso relativamente familiar, mesmo que o Ubuntu seja a única variante do Linux com a qual você tenha muita experiência).