Você não pode controlar isso diretamente, porque é uma opção controlada pelos usuários do Internet Explorer.
A abertura de páginas usando Window.open com um nome de janela diferente abrirá em uma nova janela do navegador como um pop-up OU abrirá em uma nova guia, se o usuário configurou o navegador para fazer isso.
EDITAR:
Uma explicação mais detalhada:
1. Em navegadores modernos, window.open abrirá em uma nova guia em vez de em um pop-up.
2. Você pode forçar um navegador a usar uma nova janela ('pop-up') especificando opções no 3º parâmetro
3. Se a chamada window.open não fizer parte de um evento iniciado pelo usuário, ela será aberta em uma nova janela.
4. Um "evento iniciado pelo usuário" não tem a mesma chamada de função - mas deve se originar na função invocada por um clique do usuário
5. Se um evento iniciado pelo usuário delega ou adia uma chamada de função (em um ouvinte de evento ou delegado não vinculado ao evento de clique, ou usando setTimeout, por exemplo), ele perde seu status como "iniciado pelo usuário"
6. Alguns bloqueadores de pop-up permitirão janelas abertas a partir de eventos iniciados pelo usuário, mas não aquelas abertas de outra forma.
7. Se qualquer pop-up for bloqueado, aqueles normalmente permitidos por um bloqueador (por meio de eventos iniciados pelo usuário) também serão bloqueados. Alguns exemplos…
Forçar a abertura de uma janela em uma nova instância do navegador, em vez de uma nova guia:
window.open('page.php', '', 'width=1000');
O seguinte seria qualificado como um evento iniciado pelo usuário, embora chame outra função:
function o(){
window.open('page.php');
}
$('button').addEvent('click', o);
O seguinte não se qualificaria como um evento iniciado pelo usuário, uma vez que setTimeout o adia:
function g(){
setTimeout(o, 1);
}
function o(){
window.open('page.php');
}
$('button').addEvent('click', g);