A matemática é ótima como uma maneira de aprender a pensar em sistemas formais, e há muitas coisas úteis a serem aprendidas.
Se você está pensando em ir para a faculdade em algum momento, pode querer fazer matemática pesada. É provável que você se destaque, em parte porque geralmente é mais fácil se especializar em ciência da computação do que em matemática, e em parte porque é uma boa base para aprender coisas mais teóricas.
Definitivamente, há partes da matemática que você quer saber, mas muito disso provavelmente será ensinado em um currículo de Ciência da Computação. Espero que o seu tenha algumas aulas de matemática mais ou menos disfarçadas, ensinando coisas como teoria da complexidade e teoria dos grafos.
Para videogames, você definitivamente quer mais matemática. Você precisa ser muito bom em álgebra linear e precisa saber cálculo. Você precisa conhecer geometria, trigonometria e álgebra, mas essas (pelo menos nessas formas) não são tipicamente aulas de faculdade. Equações diferenciais podem ou não ser úteis. Você não precisa de um diploma para mostrar isso (embora um menor de matemática seja útil se você estiver procurando trabalhar com outra pessoa), mas você precisa conhecê-lo, e eu não conheço uma maneira melhor de aprendê-lo. do que cursos universitários.