Ele só vai crescer com o tempo se você estiver fazendo errado . O SVN não pretende verificar árvores inteiras de repositórios com todas as ramificações e tags. Isso pode rapidamente consumir todo o espaço disponível no disco rígido em grandes repositórios com muitos branches e tags.
Em vez disso, basta verificar o único ramo ou tronco ou marca que você precisa. Você sempre pode usar svn switch
para alternar entre eles em uma única cópia de trabalho, se quiser.
Se você precisar ter várias ramificações em uma cópia de trabalho por algum motivo (talvez queira fazer uma grande movimentação entre ramificações ou algo assim), crie uma cópia de trabalho esparsa contendo apenas as ramificações necessárias, para evitar ocupar espaço desnecessário em disco e largura de banda.
Note que o TortoiseSVN tem uma boa caixa de diálogo "Escolher itens ..." no diálogo de checkout e a caixa de diálogo "atualizar para revisão" que permite criar rapidamente uma cópia de trabalho esparsa com exatamente o conteúdo que você deseja.