Amostragem de importância dos mapas do ambiente

14

Qual é a melhor abordagem atualmente conhecida e, idealmente, também verificada pela produção para amostragem de mapas do ambiente (EM) em um rastreador de caminho unidirecional baseado em MIS e tipos semelhantes de renderizadores? Eu preferiria soluções razoavelmente complicadas e razoavelmente funcionais para aquelas que fornecem amostragem perfeita a um custo de implementação super complicada e difícil de entender.

O que eu sei até agora

Existem algumas maneiras fáceis de amostrar EMs. Pode-se amostrar o hemisfério necessário de maneira ponderada em cosseno, o que ignora as formas de função BSDF e EM. Como resultado, ele não funciona para EMs dinâmicos:

Para melhorar a amostragem para um nível utilizável, pode-se amostrar a luminância do EM em toda a esfera. É relativamente fácil de implementar e os resultados são bastante bons. No entanto, a estratégia de amostragem ainda ignora as informações de visibilidade hemisférica e o fator cosseno (e também o BSDF), resultando em alto ruído nas superfícies que não são diretamente iluminadas por áreas de alta intensidade do EM:

Papéis

Encontrei alguns trabalhos sobre o assunto, mas ainda não os li. Vale a pena ler e implementar alguma dessas coisas em um rastreador de caminho unidirecional para a frente ou há algo ainda melhor?

Amostragem de Importância Estruturada de Mapas Ambientais (2003) por Agarwal et al.
Steerable Importance Sampling (2007) por Kartic Subr e Jim Arvo. Eles alegam apresentar “... um algoritmo para amostragem eficiente de importância estratificada de mapas do ambiente que gera amostras na hemi-esfera positiva definida pela orientação local de superfícies arbitrárias, enquanto contabiliza a ponderação do cosseno. “O artigo“ Importância da amostragem de harmônicos esféricos ”comenta:” Eles criam uma representação triangulada do mapa do ambiente e armazenam a iluminação pré-multiplicada por cada uma das nove primeiras funções básicas de harmônicas esféricas em todos os vértices. Isso forma uma base orientável em que o cosseno preso pode ser girado com eficiência para qualquer orientação. ”
Amostragem prática da importância do produto para iluminação direta (2008) por Petrik Clarberg e Tomas Akenine-Möller. Um algoritmo para amostrar o produto da iluminação do mapa do ambiente e da refletância da superfície. Usa amostragem de importância baseada em wavelet.
Importância da amostragem de harmônicos esféricos (2009) por Jarosz, Carr e Jensenn. O resumo diz: "... apresentamos o primeiro método prático para funções de amostragem importantes representadas como harmônicas esféricas (SH) ..."
Amostragem de Mapa de Ambiente Baseado em Deslocamento Médio com Mapeamento de Tom (2015) por Feng et al. Isso é bastante novo e não encontrei nenhuma referência a ele nem ao próprio artigo.

— ivokabel
fonte

Eu tenho uma pergunta. A segunda imagem é gerada apenas pela amostragem do EM? Ou é uma versão equivocada de amostragem de cosseno e amostragem EM? Eu realmente espero que seja a versão MISed, porque se assim for, então eu posso ter um remédio para o alto ruído na parte sombria.

— tom

Não, ele usa apenas amostragem EM espermática, ignorando o BRDF (Lambert) e o fator cosseno. Foram utilizadas 64 amostras e não foi aplicada nenhuma filtragem do espaço da imagem, apenas calculando a média sobre a área de pixels. Quando o MIS é aplicado para combinar a amostragem EM com a amostragem de cosseno, o ruído na sombra diminui muito, mas aumenta ligeiramente na parte iluminada pelo sol.

— Ivokabel

6

Esta não é uma resposta completa. Gostaria apenas de compartilhar o conhecimento obtido ao estudar dois dos documentos mencionados na pergunta: Amostragem por Importância Direcionável e Amostragem por Importância Prática do Produto para Iluminação Direta .

Amostragem de Importância Direcionável

Neste artigo, eles propõem um método para amostrar o produto do componente cosseno preso e da iluminação do mapa do ambiente:

L_{E M} (ω_{i}) {(ω_{i} \cdot n)}^{+}

$L_{EM}\left(\omega_{i}\right)\left(\omega_{i}\cdot n\right)^+$

Eles usam o fato de que uma aproximação linear em partes da função do produto pode ser relativamente bem expressa e parcialmente pré-calculada usando as nove primeiras bases harmônicas esféricas. Eles constroem essa aproximação em cima de um EM triangulado adaptativamente e a utilizam como uma função importante para amostragem.

Eles pré-calculam e armazenam coeficientes de aproximação para cada vértice do triângulo e também coeficientes para o cálculo da integral de aproximação sobre o triângulo para cada triângulo. Esses coeficientes são chamados de pesos de vértice e triângulo. Em seguida, eles usam o fato de que é possível calcular facilmente coeficientes para uma integral sobre um conjunto de triângulos apenas somando os pesos individuais dos triângulos sem incorporar bases harmônicas esféricas adicionais. Isso permite que eles construam uma árvore binária equilibrada sobre os triângulos, onde cada nó contém coeficientes para calcular a aproximação integral sobre os triângulos da subárvore do nó.

O procedimento de amostragem consiste na seleção de um triângulo e na amostragem de sua área:

Um triângulo é escolhido descendo a árvore binária pré-construída com probabilidade proporcional às aproximações sub-integrais. Isso custa on-the-fly computações de sub-integrais, cada uma consistindo em um produto interno de coordenadas harmônicas esféricas de co-seno fixo com os coeficientes pré-computados. $O\left(\log N_{\triangle}\right)$
A superfície escolhida do triângulo é então amostrada no tempo maneira bi-linear por uma nova estratégia de amostragem estratificada proposta no artigo. $O\left(1\right)$

Para mim, isso parece uma técnica promissora , mas a questão clássica dos papéis é como ela se comportará na vida real. Por um lado, pode haver casos patológicos em que o EM é difícil de aproximar com função linear triangular, que pode levar a uma enorme quantidade de triângulos e / ou a baixa qualidade da amostra. Por outro lado, ele pode fornecer instantaneamente uma aproximação relativamente boa de toda a contribuição EM, o que pode ser útil na amostragem de várias fontes de luz.

Amostra de importância prática do produto para iluminação direta

Neste artigo, eles propõem um método para amostrar o produto da iluminação do mapa do ambiente e da refletância da superfície ponderada pelo cosseno:

L_{E M} (ω_{i}) f_{r} (ω_{i}, ω_{o}, n) {(ω_{i} \cdot n)}^{+}

$L_{EM}\left(\omega_{i}\right)f_{r}\left(\omega_{i},\omega_{o},n\right)\left(\omega_{i}\cdot n\right)^+$

O único pré-processamento nesse método é o cálculo de uma representação hierárquica do EM (baseado em mipmap ou wavelet). O resto é feito em tempo real durante a amostragem.

O procedimento de amostragem:

Construindo uma aproximação rápida de BRDF: Eles primeiro desenham várias amostras de importância de BRDF e avaliam . A partir desses valores, eles constroem uma aproximação constante por partes do BRDF baseada em quadtree, onde cada folha da árvore contém exatamente uma amostra. $f_{r}\left(\omega_{i},\omega_{o},n\right)\left(\omega_{i}\cdot n\right)^+$
A computação de um produto da aproximação BRDF e EM: A multiplicação é feita nas folhas de quadtree BRDF e os valores médios são propagados para os pais.
Amostragem do produto: amostras uniformes são alimentadas através da árvore do produto usando simples deformação da amostra.

O procedimento deve gerar amostras relativamente boas ao custo de pré-computação pesada - elas mostram que são necessárias aproximadamente 100 a 200 amostras de BRDF para que a aproximação do BRDF alcance o melhor desempenho de amostragem. Isso pode torná-lo adequado para cálculos de iluminação puramente diretos, onde se gera muitas amostras por ponto de sombreamento, mas é provavelmente muito caro para algoritmos de iluminação global (por exemplo, rastreadores de caminho uni ou bidirecionais), onde você geralmente gera apenas algumas amostras por ponto de sombreamento.

— ivokabel
fonte

4

Isenção de responsabilidade: não tenho idéia de qual é o estado da arte na amostragem de mapas ambientais. De fato, tenho muito pouco conhecimento sobre esse tópico. Portanto, essa não será uma resposta completa, mas vou formular o problema matematicamente e analisá-lo. Eu faço isso principalmente para mim, por isso deixo claro para mim mesmo, mas espero que o OP e outros possam achar útil.

$\newcommand{\w}{\omega}$

I = \int_{S^{2}} f (ω_{i}, ω_{o}, n) L (ω_{i}) (ω_{i} \cdot n)^{+} d ω_{i}

$I =\int_{S^2} f(\omega_i,\omega_o,n) \, L(\omega_i) \,(\omega_i\cdot n)^+ d\omega_i$

f (ω_{i}, ω_{o}, n)

$f(\omega_i,\omega_o,n)$

L (ω_{i})

$L(\omega_i)$

(ω_{i} \cdot n)^{+}

$(\omega_i \cdot n)^+$

+

$+$

(ω_{i} \cdot n)^{+} = 0

$(\omega_i \cdot n)^+=0$

(ω_{i} \cdot n) < 0

$(\omega_i \cdot n)<0$

$N$ $\omega_i^1,\dots,\omega_i^N$ $p(\omega_i)$

I \approx \frac{1}{N} \sum_{k = 1}^{N} \frac{f (ω_{i}^{k}, ω_{o}, n) L (ω_{i}^{k}) (ω_{i}^{k} \cdot n)^{+}}{p (ω_{i}^{k})}

$I \approx \frac1N \sum_{k=1}^N \frac{f(\omega_i^k,\omega_o,n) \, L(\omega_i^k) \,(\omega_i^k\cdot n)^+ }{p(\omega_i^k)}$

$p$

p (ω_{i}) \sim f (ω_{i}, ω_{o}, n) L (ω_{i}) (ω_{i} \cdot n)^{+}

$p(\omega_i) \sim f(\omega_i,\omega_o,n) \, L(\omega_i) \,(\omega_i\cdot n)^+$

Métodos sugeridos pelo OP:

$p$

p (ω_{i}) \sim (ω_{i} \cdot n)^{+}

$p(\omega_i) \sim (\omega_i\cdot n)^+$

p

$p$

p (ω_{i}) \sim L (ω_{i})

$p(\omega_i) \sim L(\omega_i)$

Com base nos nomes dos artigos mencionados, posso adivinhar parcialmente o que eles fazem (infelizmente não tenho tempo e energia para lê-los agora). Mas antes de discutir o que eles provavelmente fazem, vamos falar um pouco sobre séries de potência: D

$f(x)$

f (x) = \sum_{k = 0}^{\infty} a_{k} x^{k}

$f(x) = \sum_{k=0}^\infty a_k x^k$

a_{k}

$a_k$

f

$f$

n

$n$

f (x) \approx \sum_{k = 0}^{n} a_{k} x^{k}

$f(x) \approx \sum_{k=0}^n a_k x^k$

n

$n$ é suficientemente alto, o erro é realmente pequeno.

$f(x,y)$

f (x, y) = \sum_{k = 0}^{\infty} b_{k} (y) x^{k}

$f(x,y) = \sum_{k=0}^\infty b_k(y) \, x^k$

b_{k} (y)

$b_k(y)$

y

$y$

f (x, y) = \sum_{k, l = 0}^{\infty} c_{k l} x^{k} y^{l}

$f(x,y) = \sum_{k,l=0}^\infty c_{kl} x^k y^l$

c_{k l}

$c_{kl}$

$f(\omega)$

f (ω) = \sum_{k = 0}^{\infty} α_{k} S_{k} (ω)

$f(\omega) =\sum_{k=0}^\infty \alpha_k S_k(\omega)$

α_{k}

$\alpha_k$

S_{k} (ω)

$S_k(\omega)$

f

$f$ pode ser escrito como uma soma de algumas funções conhecidas.

$f(\omega,\omega')$

f (ω, ω^{'}) = \sum_{k = 0}^{\infty} β_{k} (ω^{'}) S_{k} (ω)

$f(\omega,\omega') = \sum_{k=0}^\infty \beta_k(\omega') \, S_k(\omega)$

f (ω, ω^{'}) = \sum_{k, l = 0}^{\infty} γ_{k l} S_{k} (ω) S_{l} (ω^{'})

$f(\omega,\omega') = \sum_{k,l=0}^\infty \gamma_{kl} \, S_k(\omega)S_l(\omega')$

Então, como tudo isso é útil?

\begin{aligned} f (ω_{Eu}, ω_{o}, n) & = \sum_{k, eu, m = 0 0}^{\infty} α_{k eu m} S_{k} (ω_{Eu}) S_{eu} (ω_{o}) S_{m} (n) \\ eu (ω_{Eu}) & = \sum_{n = 0 0}^{\infty} β_{n} S_{n} (ω) \\ (ω_{Eu} \cdot n)^{+} & = \sum_{p, q = 0 0}^{\infty} γ_{p q} S_{p} (ω_{Eu}) S_{q} (n) \end{aligned}

$\begin{align} f(\omega_i,\omega_o,n) &= \sum_{k,l,m=0}^\infty \alpha_{klm} S_k(\omega_i)S_l(\omega_o) S_m(n) \\ L(\omega_i ) &= \sum_{n=0}^\infty \beta_n S_n(\omega) \\ (\omega_i\cdot n)^+ &= \sum_{p,q=0}^\infty \gamma_{pq} S_p(\omega_i)S_q(n) \end{align}$

Eu = \sum_{k, eu, m, n, p, q = 0 0}^{\infty} α_{k eu m} β_{n} γ_{p q} S_{eu} (ω_{o}) S_{m} (n) S_{q} (n) \int_{S^{2}} S_{k} (ω_{Eu}) S_{n} (ω) S_{p} (ω_{Eu}) d ω_{Eu}

$I = \sum_{k,l,m,n,p,q=0}^\infty \alpha_{klm} \beta_n \gamma_{pq} S_l(\omega_o) S_m(n) S_q(n) \int_{S^2} S_k(\omega_i) S_n(\omega) S_p(\omega_i) d\omega_i$

$\int_{S^2} S_k(\omega_i) S_n(\omega) S_p(\omega_i) d\omega_i$

Tudo isso é legal, mas podemos não conhecer as expansões do BSDF ou do mapa ambiental ou as expansões convergem muito lentamente; portanto, teríamos que usar muitos termos na soma para obter uma resposta razoavelmente precisa.

L (ω_{i}) \approx \sum_{n = 0}^{K} β_{n} S_{n} (ω_{i})

$L(\omega_i) \approx \sum_{n=0}^K \beta_n S_n(\omega_i)$

p (ω_{i}) \sim \sum_{n = 0}^{K} β_{n} S_{n} (ω_{i}) (ω \cdot n)^{+}

$p(\omega_i) \sim \sum_{n=0}^K \beta_n S_n(\omega_i) (\omega \cdot n)^+$

$K=0$ $K$

Outras extensões. Você pode expandir funções diferentes em argumentos diferentes e fazer coisas semelhantes às acima. Outra coisa é que você pode expandir em bases diferentes, ou seja, não use harmônicos esféricos, mas funções diferentes.

Portanto, esta é a minha opinião sobre o tópico, espero que você o tenha achado pelo menos um pouco útil e agora estou indo para o GoT e para a cama.

— tom
fonte

Haha, quando eu postei a resposta, a SE me perguntou se eu sou humano ou robô, o site não tinha certeza: eu espero que não seja por causa do tamanho da resposta, ficou um pouco fora de controle.

— Tom

Você quer fazer meu cérebro derreter, não é? ;-) BTW: Eu já consegui ler dois dos trabalhos / apresentações, então espero estender a pergunta ou escrever uma resposta superficial no final desta semana. E agora, GoT FTW!

— Ivokabel

0

Embora os métodos de amostragem do produto ofereçam uma distribuição melhor (perfeita) dos raios, eu diria que o uso do MIS (amostragem de importância múltipla) é um método verificado na produção. Como as informações de sombreamento são desconhecidas, a amostragem de produtos não se torna perfeita e é muito difícil de implementar. Filmar mais raios pode valer mais! Depende da sua situação e dos orçamentos, é claro!

Breve descrição do MIS: Em essência, você rastreia um raio BSDF (como faria para iluminação indireta) e um raio explícito na direção do EM. O MIS fornece pesos para que você possa combiná-los de maneira a remover muito barulho. O MIS é especialmente bom em escolher "técnica" (amostragem implícita ou explícita) com base na situação que surge. Isso acontece naturalmente sem que o usuário precise fazer escolhas difíceis com base na aspereza, etc.

O capítulo 9 de http://graphics.stanford.edu/papers/veach_thesis/ aborda isso em detalhes. Consulte também https://www.shadertoy.com/view/4sSXWt para obter uma demonstração do MIS em ação com as luzes da área.

— anders
fonte

Sim, o MIS é uma técnica importante verificada na produção, que ajuda muito e eu a emprego na minha solução (acho que eu deveria ter afirmado isso mais claramente na pergunta). No entanto, o desempenho geral de um estimador baseado em MIS depende da qualidade de suas estratégias de amostragem parcial. O que estou tentando fazer aqui é melhorar uma das subestratégias para melhorar o desempenho geral do estimador. Na minha experiência, geralmente é mais eficiente usar amostras com menos qualidade e mais caras do que as mais caras para gerar do que amostras com baixa qualidade e mais facilmente geradas.

— Ivokabel