Se você entende o trabalho geral de fundamentos de programação - tipos de dados, classes, funções, etc. - eu diria que vá em frente.
Quando comecei a aprender C #, eu tinha jogos em mente, mas comecei a desenvolver aplicativos de console que, embora parecessem muito básicos, incorporavam algumas técnicas avançadas de C #, a fim de melhorar minha compreensão do idioma.
Depois de entender como o C # funciona, eu faria o download do estúdio XNA a partir daqui - http://www.microsoft.com/download/en/details.aspx?id=23714
Você vai querer começar aprendendo SpriteBatch. Alguns bons tutoriais podem ser encontrados aqui ...
A partir daí, você pode começar a experimentar os pixel shaders (no SpriteBatch, http://msdn.microsoft.com/en-us/library/bb313868(v=xnagamestudio.31).aspx ) e também as transformações matriciais ( http: // www.david-amador.com/2009/10/xna-camera-2d-with-zoom-and-rotation/ ).
Depois de entender bem, você poderá finalmente usar o dispositivo gráfico para desenhar primitivas e modelos usando BasicEffects e shaders personalizados.
Boa sorte!