O melhor que posso pensar se está forçando o navegador a abrir em um modo específico usando uma opção de linha de comando. Infelizmente, algo assim não pode ser encontrado na lista "oficial" de opções de linha de comando do IE. As discussões sobre o Technet também parecem sugerir que, pelo menos no IE9, você não pode definir permanentemente o modo de documento para uma configuração herdada.
Também tenho que dizer que me intriga por que você precisa descobrir isso no lado do cliente em primeiro lugar. Quero dizer, se você deseja forçar os usuários do IE10 a usar o modo de renderização do IE9, basta adicionar uma X-UA-Compatible
metatag com a versão do IE em 9:
<meta http-equiv="X-UA-Compatible" content="IE=9">
Da biblioteca do MSDN :
Em certos casos, pode ser necessário restringir a exibição de uma página da Web a um modo de documento suportado por uma versão anterior do Internet Explorer. Você pode fazer isso exibindo a página com um cabeçalho compatível com x-ua. Para mais informações, consulte Especificando modos de documento herdados.