Eu acho errado pensar nisso apenas em termos de IA. Coisas como o inverno da IA e os efeitos comerciais no ceceio comum são perturbadores se você está perguntando por que foi usado para a IA, não por que não é usado com frequência agora ...
Enfim, acho que é porque a maior parte do código de IA era essencialmente de pesquisa. O Lisp é uma ótima linguagem para programação exploratória, para implementação de algoritmos difíceis, para código auto-modificado e frequentemente modificado. Em outras palavras, para código de pesquisa.
Hoje, uso o lisp para alguns dos meus códigos de pesquisa (matemática, processamento de sinais) porque é mais flexível e poderoso que a maioria das linguagens, enquanto gera um código mais eficiente que a maioria das linguagens. Normalmente, posso obter desempenho com um fator de +/- 2 da velocidade c ++, mas posso implementar as coisas muito mais rapidamente e lidar com a complexidade que levaria muito mais tempo do que eu usaria c ++, java, c #.
Isso está vagando fora do tópico. Eu acho que o código de IA foi escrito principalmente em linguagem comum por um tempo, porque é uma abordagem poderosa para pesquisar código. Ainda é; mas, à medida que os algoritmos de IA se tornaram mais compreendidos e explorados, algumas partes eram muito mais fáceis de ensinar e usar; portanto, eles apareceram nos idiomas de sabor do ano nos cursos de graduação. A partir daí, torna-se uma questão do que as pessoas já sabem, quais bibliotecas estão disponíveis e o que funciona bem para grandes grupos.