UAU!
O H264 é um codec de vídeo de alta qualidade, mas (como você se refere), ele cria arquivos de vídeo de tamanho "pesado".
Não tenho certeza se sua pergunta está relacionada a uma tarefa da GUI ou da linha de comando. Mas, supondo que você esteja usando o "Transmaggedon", escreverei isso considerando as opções para aplicativos da GUI.
No meu caso, prefiro o uso do "Mobile Media Converter", que funciona muito bem em sistemas de 32 bits (sistemas baseados em Ubuntu e MS). E os criadores já lançaram uma versão de 64 bits hoje em dia.
O que você deseja é criar arquivos de vídeo de tamanho menor. Isso pode ser feito alterando a "taxa de bits do vídeo", que oferece a melhor qualidade, de acordo com a taxa de bits do vídeo solicitada. Por exemplo: um arquivo de vídeo de 40 MB (descompactado, AVI) caberá em um arquivo de vídeo de 5 MB (qualquer codec) se você usar uma taxa de bits de vídeo de 800 kbps. Mas, é claro, isso pode prejudicar a qualidade.
Eu sugiro fortemente que você realize alguns testes usando o Mobile Media Converter, que pode ser acessado (.deb) clicando no próximo link:
http://www.miksoft.net/mobileMediaConverter.htm
Após a instalação, basta soltar todos os arquivos de vídeo (de preferência pequenos para o teste) na área de arrastar e soltar e, em seguida, abra as opções Avançadas clicando em uma pequena seta posicionada à direita da janela, abaixo do botão "Procurar". "[...]"
Em seguida, clique em "Avançado" e você terá todas as opções necessárias para transcodificar seu vídeo e realizar transcodificação pequena e de boa qualidade.
Lembre-se: quanto maior a taxa de bits do vídeo, você terá melhor qualidade, mas o tamanho do arquivo ficará "mais pesado".
BTW: Você também pode transcodificar vídeos usando um sistema de edição não linear, como "Kdenlive" ( http://www.kdenlive.org/ ) ou "Openshot" ( http://www.openshotvideo.com/ ) e muitos Mais. Um sistema de edição não linear também será útil para editar o vídeo (aparar, cortar, adicionar texto e muito mais).
Boa sorte!
Aqui está uma captura de tela para você ver algumas opções do Mobile Media Converter em ação.