Em um telefone não rooteado, os aplicativos são executados como usuários distintos e não têm acesso a nenhum arquivo criado por outros usuários ou arquivos do sistema, ou seja, eles são colocados na "área restrita". Como eles não podem fazer essas alterações, eu diria que a única coisa que eles podem deixar para trás é um pouco de detrito no seu cartão SD.
Em um telefone com root, um aplicativo ao qual é concedido acesso root pode fazer praticamente tudo o que é possível no hardware. Os aplicativos que possuem permissões de root podem gravar na mídia de armazenamento não somente leitura (incluindo a modificação do carregador de inicialização), modificar os dados privados de outros programas, modificar configurações do sistema, modificar arquivos do sistema etc. Um aplicativo raiz também pode se esconder do sistema, e fingir ser desinstalado enquanto está perfeitamente bem e vivo.
Basicamente, aplicativos raiz podem fazer qualquer coisa que o hardware permitir
Atualizado para incluir as informações de Lie Ryan em aplicativos raiz.