A maioria dos "efeitos de sombreador", como filtragem e mapeamento normal, tem muito pouco em comum que poderia ser considerado um elemento essencial entre os efeitos. A filtragem 2D e o mapeamento normal não são mais difíceis ou avançados do que o outro, por exemplo, e o mesmo ocorre com muitos efeitos, com apenas algumas exceções notáveis (os vários tipos de mapeamento de sombras vêm à mente). Eles são apenas diferentes. É por isso que você verá tantos livros no estilo de livros de receitas quando se trata de discutir a programação real de efeitos gráficos (em oposição à programação gráfica em um nível fundamental).
A maioria dos efeitos no mundo (isto é, não pós-processamento) está enraizada em algum nível nas propriedades físicas da luz e na simulação ou aproximação das mesmas. Para esse fim, a leitura de livros focados no traçado de raios como método de renderização pode ajudá-lo a entender melhor as principais teorias envolvidas ( a renderização com base física também é uma excelente leitura).
Depois de entender isso, a "teoria dispersa" presente em livros como GPU Gems se relacionará principalmente às maneiras específicas pelas quais a GPU pode ser manipulada para aproximar os cenários físicos do mundo real desejados e parecerá menos desarticulada.
Da mesma forma, os shaders de pós-processamento tendem a se basear na teoria do processamento de sinais e imagens. Acho que me lembro de ter este livro como livro didático em uma aula sobre o assunto, mas não me lembro muito disso.
Em geral, porém, você não encontrará muita coisa que atenda a esse tipo de abordagem, porque a teoria que une todos os vários efeitos de shader que estão em voga no momento é estruturada como uma árvore muito, muito rasa, e não uma uma muito profunda - existem muito poucas dependências que atendem a abordagens "de baixo para cima" quando você ultrapassa os fundamentos da teoria da programação gráfica (como estruturar a cena, o pipeline de transformação e a álgebra linear associada, rasterização etc.).