Codificação (e decodificação) h.264 é um processo altamente intensivo e requer uma grande quantidade de poder de processamento. O simples fato não é que sua câmera tenha mais poder de processamento do que seu laptop (mas não), mas que ela possui um hardware dedicado à tarefa de codificar e decodificar esse tipo de vídeo.
Seu laptop tem um processador de propósito geral (o CPU) que tem muitas vezes o poder de processamento da sua câmera, mas efetivamente tem que emular as habilidades do decodificador de hardware que sua câmera usa. Como mencionei, este é um processo altamente intensivo e, se o software usado para decodificar o vídeo estiver mal escrito, ele se comportará da maneira que você está vendo.
A maioria dos sistemas de computadores modernos possui uma placa gráfica dedicada, parte da qual também é dedicada à decodificação de vídeo por hardware desse tipo de vídeo. Mais recentemente, isso também apareceu nos processadores, especificamente nos processadores i-series da última geração da Intels. Usar esses decodificadores tira a carga de trabalho do seu processador e você obtém uma reprodução de vídeo suave e agradável.
Primeiramente eu procuraria por usar um player diferente para seus arquivos, já que o suporte a VLC para decodificação de vídeo por hardware é um tanto limitado e pode não estar funcionando para os arquivos que você está dando.
Como é um arquivo .mov eu tentaria baixar o Tempo rápido jogador da Apple ou o Jogador Divx como eu acredito que estes podem ser capazes de fazer uso adequado do decodificador de vídeo de hardware.