Bibliotecas e estruturas compartilhadas são contadas como parte da memória virtual para todos os aplicativos que as utilizam.
Se você possui 100 processos em execução no computador e uma biblioteca de 5 MB usada por todos esses processos, essa biblioteca é contada como 500 MB de memória virtual.
Você também pode adicionar os números na coluna Memória virtual da lista de processos - um nome mais preciso para essa coluna é " Memória privada virtual ". Não inclui dados compartilhados.
100 processos não é um número tão alto quanto parece (atualmente tenho 75 no meu MBP e estou executando muito menos que o normal).
Algumas bibliotecas são usadas por quase todos os aplicativos do seu sistema, mesmo aqueles sem interfaces. Depois de adicionar todas as bibliotecas compartilhadas em seu sistema, você tem uma grande quantidade de dados que realmente requerem muito pouca memória.
Como bmike mencionou, você deve estar mais preocupado com o espaço de troca ou com o ram ativo + com fio. No momento, o Activity Monitor me diz que tenho 170 GB de memória virtual, mas estou usando apenas 1,5 MB de espaço de troca.