Primeiro, eu recomendaria C # sobre JavaScript para programar no Unity por dois motivos principais. A primeira razão se resume à diferença de digitação forte / fraca que você meio que dispensou. Acho que a digitação forte funciona melhor do que a digitação fraca em um nível conceitual, mas, francamente, esse é um grande argumento que as pessoas têm e, portanto, vou me concentrar mais em uma questão prática específica: implantação no iOS (e possivelmente em outras plataformas também, mas esse é o apenas um que eu tenho certeza) requer digitação estática. O Unity até tem uma diretiva "#pragma strict" que pode forçar a digitação estática no JavaScript por esse motivo, mas isso apenas me leva ao meu segundo motivo ...
Em segundo lugar, o JavaScript no Unity não é totalmente o mesmo que o JavaScript em um navegador. Isso cria problemas quando você tenta aplicar conhecimento de fora do Unity (ou seja, a maioria dos recursos sobre JavaScript) à programação no Unity. É por isso que muitos desenvolvedores do Unity se referem à linguagem como UnityScript.
Agora, para resolver suas perguntas específicas:
Existe uma diferença notável de desempenho?
Na verdade, não ( alguns detalhes )
O código javascript está empacotado como está? E se sim, isso ajuda na modabilidade do jogo?
Depende da plataforma, e não, isso realmente não ajuda na modabilidade
É possível usar bibliotecas desenvolvidas para um idioma enquanto desenvolvem no outro?
Acho que sim (embora eu nunca precisei fazer isso, porque todas as bibliotecas que eu uso foram programadas em c #)
É possível misturar os dois idiomas no mesmo projeto do Unity, codificando algumas partes em C # e outras em Javascript?
Sim (embora eu tente evitá-lo, por motivos de consistência)