In /etc/skel/. Este é o "esqueleto" do usuário usado ao criar um novo usuário. Em uma instalação normal do Ubuntu, fica assim:
/etc/skel
├── .bash_logout
├── .bashrc
└── .profile
Se você adicionar arquivos aqui, ele será colocado no diretório inicial dos usuários recém-criados. Para restaurar o padrão, basta copiá-lo de lá:
cp /etc/skel/.profile ~/
Veja também a página de useraddmanual sobre isso:
O administrador do sistema é responsável por colocar os arquivos de usuário padrão no /etc/skel/diretório (ou qualquer outro diretório esqueleto especificado na /etc/default/useraddou na linha de comando).
-k, --skel SKEL_DIR
O diretório esqueleto, que contém arquivos e diretórios a serem copiados no diretório inicial do usuário, quando o diretório inicial é criado por useradd.
Embora estritamente não esteja no escopo de sua pergunta, mas digno de nota, também o arquivo de perfil de todo o sistema ( /etc/profile) é avaliado no login, como Johankor menciona em sua resposta .