Em todos os testes que vi, o eAccelerator tem um desempenho mais rápido do que qualquer outro cache por aí e usa menos memória para fazer isso. Ele vem com um script bacana para visualizar a utilização do cache e limpar o cache, etc. eAccelerator é compatível com xdebug e Zend Optimizer.
APC está sendo incluído no PHP porque é mantido pelos desenvolvedores de PHP. Ele tem um desempenho muito bom, mas não tão bom quanto o eAccelerator. E tem problemas de compatibilidade com o Zend Optimizer.
O Xcache foi feito pelos desenvolvedores do lighttpd, benchmarks mostram que ele tem um desempenho semelhante ao eAccelerator e mais rápido do que o APC.
Então, qual é o melhor?
APC = Ótimo se você quer um cache fácil que sempre funcionará com PHP, sem complicações. eAccelerator = Se você tiver tempo para mantê-lo, mantenha-o atualizado e entenda como funciona, ele terá um desempenho mais rápido. O suporte de longo prazo não é tão certo quanto o APC porque o APC é feito pelos desenvolvedores do PHP.