O ponto principal é que provavelmente não há uma diferença perceptível para a maioria dos usuários finais, mas 64 bits é a onda do futuro (presente?) E oferece melhorias significativas. Você poderá executar muitos aplicativos simultaneamente com 32 ou 64 bits, mas com 64 e muita RAM, o desempenho será melhor.
As respostas anteriores afirmaram corretamente que a quantidade de RAM utilizável ("memória endereçável" no nerd-speak) é a principal diferença entre 32 e 64 bits. Deveria ser óbvio que você só pode executar código de 64 bits em um processador de 64 bits. No entanto, mesmo um sistema operacional que não seja "totalmente" de 64 bits pode executar processos de 64 bits. Por exemplo, o OS X adicionou suporte de 64 bits nos estágios 10.4 e 10.5 e agora 10.6 ("Snow Leopard") praticamente tudo, desde o kernel até os aplicativos incluídos, de 64 bits.
No que diz respeito à classificação de sistemas operacionais com base em 32/64 bits, na verdade é uma dicotomia falsa. O Windows é enviado em versões separadas de 32/64 bits, mas (por exemplo) o OS X é fornecido como um único sistema operacional que pode ser executado nos dois modos. A razão pela qual a Apple pode fazer isso é porque investiram na Rosetta e também desenvolveram e promoveram binários universais . Inicialmente, isso fazia com que a transição do PowerPC → Intel funcionasse, mas agora eles também podem aproveitar a tecnologia para agrupar binários de 32/64 bits no mesmo aplicativo, e o sistema operacional pode escolher qual iniciar conforme necessário. O suporte ao Windows provavelmente será um pouco diferente.
Os limites de memória amplamente aumentados não são realmente tão importantes para os usuários finais (pelo menos não agora), mas são críticos para aplicativos de alto desempenho e com muita memória. Mesmo assim, se uma máquina de 64 bits e um sistema operacional funcionam para você, é inteligente comprar de olho no futuro, porque é para lá que a computação é direcionada.
(Aviso: detalhes nerds seguem ...)
Um detalhe importante e de baixo nível que foi deixado de fora é que a arquitetura Intel (nee AMD) de 64 bits (também conhecida como "x86_64") possui uma estrutura de CPU diferente que adiciona alguma eficiência à arquitetura de 32 bits. Existem duas vezes mais "registradores de programa", que são basicamente uma memória rápida que a CPU pode usar para armazenar informações em cache, resultando em um ganho de desempenho. Além disso, os tempos de execução de código e idioma de 64 bits podem descartar anos de compatibilidade com versões anteriores do cruft de 32 bits e fazer algumas novas otimizações para o pipelining de código e execução que antes eram impossíveis, e o desenvolvimento contínuo do compilador continuará aumentando a lacuna.
Editar: veja esta publicação do AppleInsider.com agora que o Snow Leopard foi lançado: http://www.appleinsider.com/articles/09/09/02/inside_mac_os_x_snow_leopard_64_bits.html