A área de trabalho do Zimbra pode fazer o que você deseja.
"O cliente Zimbra Desktop gratuito permite mesclar os mundos online e offline - armazenando e sincronizando e-mails, calendários, contatos, arquivos e documentos na nuvem, mantendo-os acessíveis localmente quando estiver em trânsito. O Zimbra Desktop agrega informações nas contas ( Zimbra, Yahoo! Mail, Gmail, Hotmail, etc.) e redes sociais (Facebook, Digg, Twitter, etc.) para ajudar a tornar a comunicação e o compartilhamento de informações mais fáceis do que nunca. "
http://www.zimbra.com/products/desktop_features.html
Para e-mails IMAP com o Gmail, o Roundcube recebe muitas menções, mas não ajuda na agenda nem no seu catálogo de endereços. Eu brinquei com o aplicativo no passado e parece muito bom.
http://roundcube.net/
Enquanto examinava outra possibilidade, deparei-me com o GMDesk - não tenho certeza se ele faz o que você deseja, mas apenas no caso de ser interessante:
http://www.robertnyman.com/gmdesk/