Como complemento às outras respostas:
Enquanto um DVCS se encaixa muito bem nesse problema, você também pode usar o Subversion tecnicamente, se sentir-se mais confortável com ele. O Subversion pode usar um diretório local em vez de um servidor central. Você pode colocar isso em um pen drive e usá-lo.
A desvantagem, comparada a um DVCS, seria que você só pode trabalhar com o Subversion (por exemplo, confirmar, visualizar logs etc.) enquanto o pen drive estiver conectado. Além disso, deve sempre ser o mesmo pen drive (ou pelo menos um até a data), porque com o Subversion você não deve usar mais de um repositório (essa é a parte não distribuída). Portanto, se você esquecer seu pen drive, não poderá usá-lo, ao contrário do Git ou do Mercurial.
Nota:
Como explicado acima, e nos comentários, um DVCS é realmente um ajuste melhor para o seu problema. Eu apenas mencionei o Subversion por questões de integridade, e caso você tenha algum motivo especial para usar o Subversion.