A desinstalação do software é conceitualmente semelhante no Windows e no Ubuntu: os arquivos podem ser removidos e as configurações podem ser removidas. A remoção ou não de todos os arquivos ou definições de configuração pelo processo de desinstalação depende do software que você está desinstalando, não do sistema operacional.
O software (no Windows e no Ubuntu) pode deixar resíduos por vários motivos, desde a simples preguiça do criador do software, mantendo as configurações do usuário para possíveis reinstalações, deixando conscientemente os arquivos criados pelo software (um exemplo seria um software de processamento de texto: usuários seria muito louco se todos os documentos criados com ele fossem excluídos na desinstalação)
Geralmente, deixar arquivos e definições de configuração é um pouco mais desaprovado no mundo Linux do que no mundo Windows, mas na maioria dos casos, quaisquer arquivos ou chaves de registro restantes devem ser usados apenas pelo programa em questão. Portanto, além de consumir espaço no disco rígido, eles não devem afetar o desempenho e a estabilidade do sistema. Isso é verdade tanto para Windows quanto para Ubuntu.
No entanto, os programas que fazem modificações no sistema, como drivers, daemons, ferramentas do sistema etc., mas na verdade qualquer software que solicite acesso root (elevação no Windows) durante o processo de instalação, não tem obrigações técnicas para remover tudo ao desinstalar, e pode deixar resíduos que possam comprometer o desempenho, a estabilidade e a segurança do sistema. Mais uma vez, isso é verdade para Windows e Ubuntu.
Se você deve garantir que as desinstalações não afetem negativamente seu sistema, instale apenas software que não exija acesso root (elevação no Windows). Se você estiver instalando um software que exija acesso root (elevação no Windows), todas as garantias estão desabilitadas, portanto, recomendo que você se atenha aos editores de software nos quais confia e espere o melhor.
Observe que, quando menciono o Windows, estou falando do Windows Vista e superior, que são executados em contas de usuário restritas por padrão.