Costumava haver uma opção em versões mais antigas, como eu pesquisei na web, para definir um tamanho de arquivo de saída. No entanto, parece que essa opção não está mais na interface do usuário.
Alguém tem alguma solução para isso? Provavelmente usando a caixa "Extra Options" na aba de vídeo? 
Respostas:
HandBrake 0.9.5 (lançado em 4 de janeiro de 2011) foi a última versão a suportar o recurso "target size", portanto, 1.1.1 não apresenta essa opção. Você pode, no entanto, calcular o tamanho final do arquivo usando a seguinte fórmula
File size (kb) = bitrate(kbps) x running time (s)
Se você quiser em MB, basta dividir o valor resultante por 1000.
O Vidcoder é um front end alternativo para o Handbrake e oferece a opção de tamanho de alvo. Você não precisa instalar o Handbrake separadamente. http://vidcoder.net/
Aqui está a opção de tamanho de destino:
