Isso depende em grande parte do seu hardware. O Filevault abrange essencialmente 2 elementos principais:
Criptografia
CPU ligada, quanto mais rápida sua CPU, mais rápido o sistema operacional pode criptografar e descriptografar os dados no disco. O Filevault usa criptografia de 256 bits, por isso é um processo bastante complexo
I / O
Depois que o material é criptografado (ou antes que possa ser descriptografado), é necessário ler ou gravar no disco. A diferença entre um SSD e a mídia de prato giratório tradicional é enorme. O que pode ser um processo lento de descriptografia pode ser compensado pelo uso de acesso rápido como um raio.
Então, realmente depende de todos os tipos de coisas e de como elas podem afetar o que foi dito acima. Você não lista o hardware, o que torna quase impossível avaliar.
Curiosamente, como é a única medida que tenho em mãos, instalei o Lion em um MacBook Air de 1.6Ghz com SSD, com e sem o Filevault. Em uso, ele inicializou um pouco mais devagar, mas eu tive que cronometrar (eu esqueço os tempos, mas era da marca de 15% mais devagar), mas em uso eu não via diferença discernível.
Supondo que você tenha um disco USB Time Machine, eu diria que o impacto será inexistente, pois é altamente improvável que qualquer efeito no desempenho o leve abaixo do desempenho normal do USB.