Sua pergunta diz "Internet Explorer", mas para aqueles interessados em outros navegadores, agora você pode usar all: unsetbotões para removê-los.
Não funciona no IE ou Edge 18, mas é bem suportado em qualquer outro lugar.
https://caniuse.com/#feat=css-all
Aviso de cor do Safari: a configuração do texto colordo botão após o uso all: unsetpode falhar no Safari 13.1, devido a um bug no WebKit . (O bug será corrigido no Safari 14 e superior.) " all: unsetEstá definido -webkit-text-fill-colorcomo preto e substitui a cor." Se você precisar definir o texto colorapós o uso all: unset, certifique-se de definir o colore o -webkit-text-fill-colorcom a mesma cor.
Aviso de acessibilidade: para o bem dos usuários que não estão usando o ponteiro do mouse, certifique-se de adicionar novamente alguns :focusestilos, por exemplo, button:focus { outline: orange auto 5px }para acessibilidade do teclado .
E não se esqueça cursor: pointer. all: unsetremove todo o estilo, incluindo o cursor: pointer, o que faz com que o cursor do mouse pareça uma mão apontando quando você passa o mouse sobre o botão. Você quase certamente deseja trazer isso de volta.
button {
all: unset;
color: blue;
-webkit-text-fill-color: blue;
cursor: pointer;
}
button:focus {
outline: orange 5px auto;
}
<button>check it out</button>