Filtrando Homografias Estimadas pelo RANSAC

Estou usando o algoritmo RANSAC para estimativa de homografia entre pares de imagens tiradas com câmeras que não possuem nenhuma tradução entre elas (rotação pura e alteração de escala / zoom). Funciona bem na metade dos casos. A saída correta é assim:

As linhas vermelhas são correspondências filtradas e os quadriláteros ilustram como a homografia distorce a perspectiva.

Às vezes, no entanto, muitos casos ruins acontecem, como estes:

Eu já tenho um teste simples no loop RANSAC. Faz um quadrilátero simples (um quadrado unitário) e o transforma com transformação de amostra. Então, verifica se a transformação manteve sua convexidade.

Ainda assim, porém, surgem cachos de quadriláteros côncavos.

Você tem alguma idéia de como testar corretamente a homografia, se ela se comporta "bem" e filtrar as soluções incorretas?

Encontrei algum código em que eles testam que nenhum dos três pontos transformados é colinear. Mas isso não parece suficiente, pois não filtra deltóides e outros quadriláteros "inválidos" ...

Há um artigo interessante sobre esse tópico: http://link.springer.com/chapter/10.1007%2F978-3-642-17691-3_19#

O artigo descreve um método para filtrar algumas correspondências erradas antes de computar homografias no algoritmo RANSAC.

Há um problema ao verificar se a homografia está correta.

O algoritmo para verificar homografias corretas pode interessar a alguém, por isso vou escrevê-lo aqui:

$ABDC$

$$\begin{eqnarray} A:& (-w/2,-h/2, 1.0) \\ B:& (w/2,-h/2, 1.0) \\ C:& (-w/2,h/2, 1.0) \\ D: &(w/2,h/2, 1.0) \end{eqnarray}$$

$w,h$

$A'B'D'C'$$C'=HC$

$\vec{u}$$\vec{v}$

$$\begin{eqnarray}d_{1} :& A+(D-A)s =A+ \vec{u}s \\ d_{2} :& B + (C-B)t=B+\vec{v}t \end{eqnarray}$$

$d_{1}=d_{2}$

$$t=\frac{1}{d}\left[(B_{y}-A_{y})\vec{u}_{x} - (B_{x}-A_{x})\vec{u}_{y}\right]$$

$$s=\frac{1}{d}\left[(A_{x}-B_{x})\vec{v}_{y} - (A_{y}-B_{y})\vec{v}_{x}\right]$$

$s,t \in (0,1)$

$s,t \in (\lambda, 1.0-\lambda)$$\lambda=0.01$

Problema mais antigo, corrigido no algoritmo acima:

Encontrei o problema aqui - com uma certa homografia, o teste pode passar para um quadrilátero menor, mas não para o maior. É por isso que algumas homografias "doentes" passaram.

O quadrado verde representa uma imagem de origem, o laranja é um transformado. Como você pode ver, a mão esquerda é convexa, mas começa a se deformar à medida que a fonte é maior:

Finalmente, um rendimento de fonte ainda maior não converte quadrilátero:

$(x,y,w)$$x$$y$$w$

Corrigi o algoritmo de acordo.

$x_i \sim Hx_i^'$$\sum_{j=1\dots n}\|x_j - Hx_j^'\|$$H^'$$x^' = H^'x$$\sum_{j=1\dots n}\|x_j - Hx_j^'\| + \|x_j^' - H^'x\|$

Veja Hartley e Zisserman - Geometria de Múltiplas Visões na Visão por Computador, capítulo 4.2 e, especialmente, 4.2.3 e a equação (4.8).