A resposta é "depende"
Alguns 'aplicativos' de 32 bits não funcionam no modo de 64 bits, por exemplo, drivers gráficos e extensões de shell (como o Tortoise SVN). Nesse caso, você precisa de uma versão de 64 bits.
Para outras aplicações normais, isso depende do que elas fazem.
Se você tiver, por exemplo, 16 GB de memória e estiver executando o SQL Server com um banco de dados extremamente grande, é muito importante ter a versão de 64 bits do SQL.
Se, no entanto, você tiver 4Gb de memória (com quase 1 gb 'roubado' pela placa de vídeo), poderá estar com pouca memória e usar aplicativos de 64 bits (que podem exigir mais memória) pode realmente tornar o sistema lento.
Mesmo ignorando as considerações de memória, não é possível afirmar com certeza que um aplicativo de 32 bits em execução no modo de 64 bits será mais rápido ou mais lento que o equivalente a 64 bits, nem se o aplicativo será mais rápido ou mais lento do que quando executado em um 32 sistema operacional de bits.
Pessoalmente, se eu estiver procurando por um utilitário ou aplicativo pequeno para minha máquina, vou verificar se ele funciona com o sistema operacional de 64 bits, mas se o aplicativo é de 32 ou 64 bits normalmente não está no topo da minha lista de prioridades .
De acordo com o Process Explorer, atualmente tenho 25 processos de 64 bits e 28 processos de 32 bits em execução, ignorando o Chrome)