Respostas:
O comentário de Yeti funcionará para você, mas se você quiser saber o motivo, é porque os parênteses são interpretados como caracteres especiais e precisam ser escapados com \ou com o nome do arquivo inteiro citado (como acima) [editar: desculpe, apenas o (e ) precisam ser citados].
Se a conclusão da guia estiver ativada, basta digitar os primeiros caracteres do nome do arquivo e clicar na guia. Ou seja, digitando mv olde pressionando a guia, deve se transformar em mv old.file\(1\).gz(a menos que haja outros arquivos em potencial que old*possam se referir).
()fazer. Você pode fazer mv old.fil'e(1).'gz new.file.gzse quiser.
mv 'old.file(1).gz' new.file.gz
deve corrigir o problema.
mv 'old.file(1).gz' new.file.gz.