Como definir a localidade?

Após uma instalação limpa do Ubuntu Server, recebo o seguinte erro ao executar 'perl'.

perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
    LANGUAGE = (unset),
    LC_ALL = (unset),
    LANG = "en_CA.utf8"
    are supported and installed on your system.
perl: warning: Falling back to the standard locale ("C").

Onde devo definir meu código de idioma, todo o sistema e específico do usuário? Se houver um utilitário de linha de comando para fazer isso, prefiro usá-lo do que editar manualmente os arquivos de configuração.

Digite o seguinte no terminal para se livrar desse erro,

sudo apt-get install language-pack-en-base

sudo dpkg-reconfigure locales