O método Alt + (por exemplo, Alt + 2192) é um pouco mais confortável, mas pode exigir uma alteração no registro do Windows.
Se você precisar inserir alguns caracteres especiais como setas com frequência, poderá usar o MSKLC para configurar um layout de teclado no qual eles possam ser digitados diretamente e alternar para esse layout (talvez com um Ctrl 2 simples ou algo assim) quando necessário. Infelizmente, a escolha mais natural, as teclas de seta, não pode ser usada lá, mas você pode atribuir qualquer significado (em termos de caracteres Unicode) às teclas normais.