A Apple (ou um terceiro) deve escrever um utilitário para permitir que você diminua a resolução nativa da câmera interna, mas, até onde sei, elas ainda não o fizeram.
Você pode contornar isso canalizando a saída de vídeo da sua câmera da web para outro programa que processa o fluxo de vídeo da câmera e a "publica novamente" no Mac como uma câmera virtual (também conhecida como pseudo-câmera), que estará disponível para uso em outros aplicativos no seu Mac.
Aqui está como eu fiz isso. Eu testei esta solução no OS X 10.8. Também funciona no OS X 10.6. (Aposto que provavelmente também funciona em 10.7.)
Faça o download do utilitário gratuito de efeitos da webcam CamTwist Studio .
Defina seu navegador para executar no modo de 32 bits. (Por quê? Como o plug-in do navegador Adobe Flash deve ser executado no modo de 32 bits para acessar o dispositivo de câmera virtual CamTwist.) Para fazer isso, vá para o Finder, localize seu aplicativo de navegador da Web, faça "Obter informações" e verifique a caixa de seleção "Abrir no modo de 32 bits". Ainda não inicie o seu navegador.

- Abra o CamTwist Studio, vá para Preferências, clique na guia Dispositivos de vídeo, escolha seu dispositivo de vídeo e use a configuração "Forçar resolução da câmera" para forçar a resolução que você preferir. (Sugira 320 x 240 para conexões à Internet de baixa largura de banda.)

- Você precisará definir uma "Configuração" no CamTwist studio. Siga as etapas na janela principal do CamTwist: clique duas vezes em "WebCam" na coluna Fontes de vídeo.

- Pule para a Etapa 5 na janela principal do Cam Twist - selecione o dispositivo da sua câmera na coluna Configurações:

Abra Preview
o Tools
menu. Uma janela deve aparecer mostrando uma transmissão de vídeo ao vivo a partir do dispositivo da câmera.
(opcional) Se desejar, brinque com os muitos efeitos interessantes disponíveis no CamTwist, como "Comic Book", mostrados aqui:

- Agora você está pronto para iniciar seu navegador da Web (no modo de 32 bits). A maioria dos serviços de bate-papo / reunião de vídeo na Web (como o GoToMeeting) usa o Adobe Flash para manipular vídeo. Ao definir as configurações da câmera para o bate-papo por vídeo, você verá um novo dispositivo "câmera" disponível, chamado "CamTwist Studio". Se você selecionar este dispositivo, seu fluxo de vídeo deverá ser o fluxo modificado de baixa resolução de 320x240 (ou o tamanho que você escolher), além dos efeitos adicionados ao CamTwist.
O dispositivo de vídeo "virtual" do CamTwist também deve estar disponível na maioria dos outros programas que usam os serviços de vídeo principal do Mac OS X, como o Skype e muitos outros aplicativos. (Mas não todos. Por exemplo, ele não funciona com o FaceTime.)
Aqui está um exemplo do fluxo de vídeo CamTwist sendo usado em http://www.chatroulette.com :
