Você não pode desinstalá-lo completamente. Mas se você não gostar, poderá desativá-lo e ele não aparecerá.
Para isso, você precisa seguir Control Panel > Programs and Features > Turn Windows Features on or off
ou pode digitar o comando da barra de endereço do Windows Explorer abaixo e a mesma caixa de diálogo será exibida:
shell:::{67718415-c450-4f3c-bf8a-b487642dc39b}
Agora encontre a caixa de seleção para Internet Explorer 10
, desmarque-a e reinicie sua máquina.
Nota : Esta não é uma desinstalação completa do Internet Explorer (alguns recursos do Windows podem sofrer como resultado); você está apenas usando o modo de 'Desativar' da Microsoft.
Em resposta à edição do OP:
Você não poderá executar a UI moderna do Internet Explorer, pois não pode executar a versão da área de trabalho. Nada além disso será afetado, até onde eu sei.
Após pesquisar no Google, achei algo mais interessante: você precisa executar um Elevated Command Prompt
e digitar:
pkgmgr.exe
Um pop-up aparecerá mostrando os comandos que você pode usar para desinstalar qualquer pacote (incluindo o IE).

Fonte