XQuartz é a continuação do X11.app descontinuado da Apple, que costumava fazer parte do OS X:
O X11 não está mais incluído no OS X, mas as bibliotecas de servidor e cliente X11 do OS X estão disponíveis no projeto XQuartz: http://xquartz.macosforge.org . Você deve usar a versão mais recente disponível do XQuartz.
Fonte: Sobre o X11 para Mac - Suporte da Apple
O X11 é um sistema de janelas muito antigo para o Unix, que não é necessário para quase tudo o que você fará no seu Mac. O único uso disseminado do X11 para o qual uso é o Wine, que permite executar o software Windows no seu Mac.
O XQuartz é muito semelhante ao X11, mas é um 'esforço da comunidade para desenvolver ainda mais' o X11:
A Apple criou o projeto XQuartz como um esforço da comunidade para desenvolver e dar suporte ao X11 no OS X. O projeto XQuartz foi originalmente baseado na versão do X11 incluída no Mac OS X v10.5. Houve várias versões do XQuartz com correções, suporte para novos recursos do OS X e aprimoramentos adicionais à experiência do X11. A Apple é colaboradora do projeto XQuartz e trabalhou para garantir que o X11 funcione conforme o esperado no OS X com as últimas versões disponíveis do XQuartz.
O XQuartz não atrapalha a exibição da Retina. Ele não substitui nenhum dos gerenciadores de janelas do OS X. $ DISPLAY é usado apenas com e para o XQuartz, tanto quanto eu saiba.