Melhor palpite para a instalação padrão do Ubuntu
Encontre onde seu PS1 variável está definida e muda \w para \W.
Você pode fazer uma verificação inicial deste método assim:
user@computer:~/full/path/to/directory$ echo $PS1
${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[00m\]\$
user@computer:~/full/path/to/directory$ export PS1='${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\W\[\033[00m\]\$ '
user@computer:directory$
Provavelmente está sendo definido em sua .bashrc. Se não, verifique /etc/bashrc e substituir a variável lá no seu .bashrc. Você terá, claro, que fazer uma exec bash ou fonte seu .bashrc para as alterações feitas lá para fazer efeito.
Outras configurações
Existem diferentes variações sobre como fazer isso, dependendo de qual shell você está usando e como está configurado. Por exemplo, você pode ter seu prompt configurado assim:
export PS1='$USER@$(hostname):$PWD$ '
Nesse caso, você vai querer fazer:
export PS1='$USER@$(hostname):$(basename $PWD)$ '