O MSIE se deixa incorporar a outros aplicativos (porque é um aplicativo OLE). É por isso que o Firefox pode iniciar o IE dentro de uma guia do Firefox. Isso parece funcionar tão facilmente porque o Windows sempre tem o IE instalado.
O oposto não é possível; O IE não pode iniciar o Firefox dentro de uma guia do IE porque o próprio Firefox não foi criado para ser incorporado em outros aplicativos. Mesmo se a incorporação fosse possível, você ainda precisaria ter o Firefox instalado (você mencionou que queria evitar isso). Você não pode obter o mecanismo de renderização Mozilla sem instalá-lo ...
É por isso que qualquer aplicativo do Windows que precise de um navegador, use o IE ou contenha seu próprio pequeno aplicativo de navegador.
Era uma vez um bookmarklet do IE que abriria a página atual no Firefox - mas que ainda requer a instalação do Firefox.