Como funciona a renderização capilar em tempo real?

É do conhecimento geral que a simulação e a renderização do cabelo são particularmente desafiadoras e, de fato, raras são os exemplos em jogos que propõem cabelos críveis. É muito fácil imaginar o quão difícil é realmente simular a grande quantidade de fibras e simular os vários eventos de dispersão que podem ocorrer entre tantas cadeias, sem falar no fato de que cada uma delas é translúcida.

Alguém pode formalizar quais são os principais desafios na renderização capilar, especialmente para cenários em tempo real? Como isso é superado por técnicas de ponta? Existem alguns modelos teóricos padrão de fato usados?

Para esclarecer, em tempo real, não quero dizer necessariamente em um contexto de jogo.

Desculpe pela má qualidade da minha resposta. Atualmente, não tenho acesso a um computador e a edição no meu telefone não é uma tarefa simples. Em particular, eu adoraria poder colar imagens.

Eu diria que os principais desafios da simulação de cabelos são:

• replicando sua reação muito específica à iluminação (como material)
• replicando sua propriedade volumétrica (como uma geometria)
• animando-os de maneira realista

Aqui está uma lista de referências que reuni sobre o assunto, ordenadas cronologicamente (principalmente sobre a parte de renderização) :

1. JAMES T. KAJIYA, TIMOTHY L. KAY, renderizando peles com texturas tridimensionais , 1989
2. JEROME LENGYEL, EMIL PRAUN, ADAM FINKELSTEIN, HUGUES HOPPE, Peles em tempo real sobre superfícies arbitrárias , 2000
3. STEPHEN R. MARSCHNER, HENRIK WANN JENSEN, MIKE CAMMARANO, Espalhamento de luz por fibras de cabelo humano , 2003
4. ARMIN BRUDERLIN, SUNIL HADAP, TAE-YONG KIM, NADIA MAGNENAT-THALMANN, ULRICH NEUMANN, YIZHOU YU, STEVE WORLEY, Modelagem, animação e renderização fotorrealista de cabelos, curso Siggraph 2003
5. THORSTEN SCHEUERMANN, renderização e sombreamento de cabelos, ShaderX3, 2004
6. THORSTEN SCHEUERMANN, Renderização e sombreamento de cabelos , ATI / GDC 2004
7. THORSTEN SCHEUERMANN, renderização e sombreamento de cabelos em tempo real , ATI / Siggraph 2004
8. THORSTEN SCHEUERMANN, Renderização e sombreamento de cabelos em tempo real , ATI / Siggraph 2004 (slides)
9. MARTIN KOSTER, JORG HABER, HANS-PETER SEIDEL, Renderização em tempo real de cabelo humano usando hardware de gráfico programável , 2004
10. HUBERT NGUYEN, WILLIAM DONNELLY, Animação e renderização de cabelos na demonstração de Nalu , GPU Gems 2 (capítulo 23), 2005
11. LENA PETROVIC, MARK HENNE, JOHN ANDERSON, Métodos volumétricos para simulação e renderização de cabelos , Pixar 2006
12. CHRISTOPHE HERY, RAVI RAMAMOORTHI, Importância da amostragem de reflexões em fibras capilares , Pixar 2007
13. SARAH TARIQ, LOUIS BAVOIL, renderização em tempo real dos cabelos na GPU , Siggraph 2008.
14. ARNO ZINKE, CEM YUKSEL, ANDREAS WEBER, JOHN KEYSER, Aproximação de dispersão dupla para dispersão múltipla rápida em cabelos , Siggraph 2008
15. IMAN SADEGHI, HEATHER PRITCHETT, HENRIK WANN JENSEN, RASMUS TAMSTORF, um sistema amigável de sombreamento para artistas , 2010
16. EUGENE D'EON, GUILLAUME FRANCOIS, MARTIN HILL, JOE LETTERI, JEAN-MARIE AUBRY, um modelo de reflexão de cabelos com economia de energia , 2011
17. XUAN YU, JASON C. YANG, JUSTIN HENSLEY, TAKAHIRO HARADA, JINGYI YU, Uma estrutura para renderizar efeitos de dispersão complexos no cabelo , 2012
18. JIAWEI OU, FENG Xie, Parashar Krishnamachari, FABIO PELLACINI, ISHair: Importância Amostragem para Scattering Cabelo de 2012
19. SARAH INVERNIZZI, Sobre renderização capilar com base física , 2013
20. WOLFGANG ENGEL, renderização capilar em Tomb Raider , 2013
21. EUGENE D'EON, STEVE MARSCHNER, JOHANNES HANIKA, Amostragem de importância para modelos de fibras capilares com base física , 2013
22. TIMOTHY MARTIN, WOLFGANG ENGEL, NICOLAS THIBIEROZ, JASON YANG e JASON LACROIX, TressFX: renderização capilar avançada em tempo real , GPU Pro 5, 2015
23. LEONID PEKELIS, CHRISTOPHE HERY, RYUSUKE VILLEMIN, JUNYI LING, um modelo de dispersão de luz orientada por dados para cabelos , Pixar 2015

Ainda não li todo esse material, mas eis um pouco do que me lembro (estou mais interessado nas soluções em tempo real):

• Kajiya-kay lançou as bases para uma renderização realista de cabelos / pêlos
• Marschner propôs um modelo melhorado e observou que o cabelo tem dois destaques especulares distintos (um branco devido à reflexão direta, o outro colorido e brilhante devido à reflexão dentro da fibra capilar)
• Scheuermann propôs aproximações para simular o comportamento descrito por Marschner, aproximações adequadas para o tempo real (usando truques como dois destaques especulares separados, deslocamento e expoente especular projetado pelo artista, texturas de ruído). Ele também propôs o uso de três passes de renderização (opacos, traseiros e traseiros transparentes) de polígonos para simular as qualidades "volumétricas" dos cabelos
• A maioria dos jogos que ouvi parece usar abordagens de Scheuermann para sombreamento de cabelos. No entanto, esta não é uma solução de economia de energia. No entanto, acho que d'Eon tenta corrigir esse problema no artigo de 2011.
  Outro tópico de interesse é o uso do mosaico, que também foi usado recentemente para substituir a abordagem poligonal e simular os fios de cabelo individualmente.

O mundo da renderização offline tenta resolver desafios mais avançados. Eu acho que a maioria deles está descrita nas referências acima.