No Ubuntu 13.04, isso era simples: vá para Configuração do sistema → Layout do teclado → Opções → Tecla (s) para alterar o layout e marque Caps Lock:

Porém, no Ubuntu 13.10, o Layout do Teclado , agora chamado de Entrada de Texto , passou por muitas alterações e, até o momento, até que uma correção correta para esse bug seja lançada, é um pouco mais complicado de mudar o idioma de entrada Caps Lock.
Depois de adicionar o seguinte PPA à minha lista de fontes usando o seguinte comando:
sudo add-apt-repository ppa:attente/1218322
e depois de atualizar meu sistema usando:
sudo apt-get update
sudo apt-get upgrade
Consegui alterar o atalho do teclado Super+ padrão Spacepara Caps Lock:

Muito obrigado a William Hua (attente) por sua fonte de entrada que troca o PPA . Como ele disse, ele manterá o PPA atualizado até que uma correção correta para esse bug seja lançada.