Uma pergunta semelhante a essa é observada aqui Como posso limitar a quantidade de RAM que um aplicativo Mac OS pode usar?
Eles recomendam o uso do comando ulimit , mas não conseguiram limitar a quantidade com sucesso ao que desejavam. Eu acho que o problema que eles encontraram foi o fato de que a opção configurada -u ou -v não era responsável pelo sistema de paginação de memória, por exemplo, você só pode alocar uma quantidade X de espaço para processar na RAM real, mas podemos paginar você fica na memória virtual o dia inteiro.
Observe que isso pode ser perigoso desabilitar a memória virtual, pode resultar no bloqueio do seu Mac, etc., quando a memória RAM for executada.
Tente executar o ulimit com os argumentos -l, -m ou -v, conforme observado na página de manual do ulimit, até o sistema operacional, se ele prestar atenção nessas configurações ou não como observado.
ulimit: ulimit [-SHacdefilmnpqrstuvx] [limite]
Modifique os limites de recursos do shell.
Fornece controle sobre os recursos disponíveis para o shell e os processos que ele cria, em sistemas que permitem esse controle.
Não é possível realmente encontrar nenhuma fonte definida que confirme se o OS X ignora ou não o ulimit, mas após a falha do ulimit referenciado
Se você conseguir que o ulimit atenda às suas necessidades por si só, tente, se não uma combinação de ulimit e / ou desativar a memória virtual, poderá permitir que você configure esse limite de 3 GB em processos selecionados. Para sua informação, aqui está um bom link para obter mais informações sobre desativar completamente a memória virtual no Snow Leopard System 10.6
sudo launchctl unload -w /System/Library/LaunchDaemons/com.apple.dynamic_pager.plist