É porque os SSDs tendem a ter tecnologia muito mais avançada (e cara) por dentro.
Um SSD típico possui uma grande quantidade de memória flash, combinada com um controlador que mapeia os blocos lógicos do ATA em várias partes do flash. Para otimizar o desempenho, ele armazenará em cache as gravações para combiná-las em blocos flash únicos. Quando os blocos lógicos são sobrescritos, isso os marcará como lixo e gravará os novos dados em outro lugar (atualizando o mapeamento lógico-a-físico, é claro). Também executará a coleta de lixo em segundo plano durante o tempo ocioso para aglutinar os blocos e otimizar ciclos e garantir que haja blocos livres disponíveis para manipular gravações (para que as operações de gravação não precisem bloquear a espera por apagamentos).
Um pen drive barato, por outro lado, é um hardware muito mais simples. Em muitos casos, cada bloco lógico é mapeado para um local fixo na memória flash. Ou, se eles tiverem uma lógica de nivelamento de desgaste, será muito mais simples e sem coleta de lixo. Isso torna o chip do controlador muito mais simples e barato, mas com o efeito colateral de um desempenho de gravação muito mais lento e, potencialmente, uma vida útil mais curta.
Claro, existem muitos produtos diferentes em ambos os espaços. Alguns SSDs (especialmente modelos antigos) não são muito eficientes ou otimizados, e alguns pen drives (especialmente os modelos mais novos de alta capacidade e alto desempenho) têm muita lógica usada pelos SSDs, mas a comparação acima deve ser precisa ao comparar um moderno SSD contra um pen drive no porão de barganha.