Eu tive um problema semelhante a este antes. O que fiz foi carregar o shell Python, importar o módulo e imprimir seu __file__
atributo. De lá, eu apenas removeria a pasta ou arquivo que estava sendo associado.
Você pode querer olhar para o uso do virtualenv, este sistema permite que você crie uma instância de python separada do seu sistema. Todos os módulos que você instalar ou usar nesta instância são independentes, incluindo a versão do módulo.
Eu mantenho todos os meus projetos agora dentro do próprio virtualenv contido, o que me permite instalar e usar quaisquer módulos que eu quiser sem me preocupar em bagunçar módulos de outros projetos.
pip
ou outro gerenciador com capacidade de desinstalação para gerenciar pacotes Python.