A maioria dos jogos na teoria dos jogos não seria um videogame muito bom. Por exemplo, um jogo é mais ou menos assim:
Há pessoas que fazem lances de US $ 100. As regras são que, se você ganhar, paga o que oferece e recebe os US $ 100. Se você está em segundo, também paga o que oferece, mas não recebe nada. Um jogo muito chato e se os lances ultrapassarem os US $ 100, as duas pessoas perdem.
O tipo de coisa que você aprenderia na teoria dos jogos provavelmente se aplicaria mais a pensar em como um jogador poderia abordar seu jogo em vez de ajudar no desenvolvimento. Como sinto que as outras postagens já estabeleceram que isso não seria realmente benéfico, embora seja bastante interessante se você gosta desse tipo de coisa, falarei sobre matemática que pode ser útil.
A álgebra linear é uma obrigação, principalmente porque é usada em muitos outros ramos da matemática, incluindo a teoria dos jogos. É o tipo de matemática que eu mais encontro ao desenvolver jogos. Imagino que se alguém entrasse em desenvolvimento de motores, esse tipo de matemática seria ainda mais relevante. Também é mais útil em jogos 3D, em oposição ao 2D.
A matemática combinatória pode ser útil. Especialmente por probabilidade. Também a teoria combinatória dos jogos é sobre jogos, mas exclusivamente baseada em turnos e geralmente os jogos são simples.
Probabilidade discreta também é útil. Eu realmente não vi muitas coisas contínuas, mas coisas discretas aparecem com bastante frequência e podem realmente reduzir o tempo de teste. Basicamente, sempre que você usa números aleatórios, usa probabilidade. Às vezes é bem básico, mas quem sabe, às vezes os problemas de probabilidade parecem muito menos envolvidos do que realmente são.
E eu imagino que se você desenvolvesse um mecanismo de física, o Calculus seria usado, mas eu não sei nada sobre o desenvolvimento do mecanismo.