"Experimente o Ubuntu sem instalar" inicializa o Ubuntu como um "sistema ativo". Isso significa que ele é executado inteiramente a partir da mídia removível (o DVD instalador ou a unidade USB) e não do seu disco rígido interno.
Em um instalador normal de DVD ou USB do Ubuntu (sem persistência - se você não sabe o que é, não o configurou), todas as alterações feitas no sistema ao vivo são mantidas apenas na RAM e, portanto, descartadas assim que você fechar para baixo.
No entanto, você pode montar manualmente outros dispositivos de armazenamento (como as partições do disco rígido interno) e modificá-los. Porém, isso não acontece automaticamente, mas como o @TorstenS apontou em seu comentário, é muito fácil fazer isso acidentalmente, pois cada partição e dispositivo montável normalmente é representado por um ícone na área de trabalho e no gerenciador de arquivos Nautilus. Clicar nesse ícone montará o respectivo sistema de arquivos e mostrará seu conteúdo, permitindo que você modifique tudo. Você também pode formatar ou reparticionar facilmente seus discos de um sistema ativo, excluindo efetivamente itens do disco interno. O Ubuntu não fará nada disso sozinho, a menos que você o solicite, mas você ainda precisa ter cuidado para não fazer isso acidentalmente.
Sobre o seu caso especial de instalação ou remoção de pacotes de software: essas alterações também são mantidas apenas na RAM e não são preservadas durante as reinicializações (novamente, a menos que você crie manualmente um instalador USB com persistência, mas provavelmente não o fez). Na próxima vez em que você inicializar a partir da mídia de instalação, ele estará exatamente no mesmo estado em que estava na última vez e nos momentos anteriores.