Como o detector de recursos Hessian funciona?

Conheço o detector de canto Harris e entendo a idéia básica de sua matriz de segundo momento ,

M = [\begin{array}{cc} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{array}]

$M = \left[ \begin{array}{cc} I_x^2 & I_xI_y \\ I_xI_y & I_y^2 \end{array} \right]$ , arestas e outros pontos instáveis podem ser removidos via

M

$M$ .

Mas sobre o detector Hessian, ele usa a matriz Hessian para detectar pontos-chave e remover arestas,

H = [\begin{array}{cc} I_{x x} & I_{x y} \\ I_{x y} & I_{y y} \end{array}]

$\mathcal{H} = \left[ \begin{array}{cc} I_{xx} & I_{xy} \\ I_{xy} & I_{yy} \end{array} \right]$ , e eu não entendo como poderia

H

$\mathcal{H}$ remover arestas e detectar pontos estáveis? Qual é a idéia básica intuitiva por trás disso?

— abacate
fonte

Talvez isso ajude: dsp.stackexchange.com/a/1735/291

— Niki Estner 4/13

Vou tentar evitar a matemática, porque os tutoriais de matemática e "como fazê-lo" podem ser facilmente encontrados.

Então, começo apontando uma coisa MUITO importante: não se calcula Harris para um único pixel, mas para uma vizinhança (um pedaço de imagem) em torno desse pixel! Deixei $I(i)_{xx}, I(i)_{xy} ...$ ser seus derivados por um ponto $i_0$ , então,

$H = \left[ \begin{array}{cc} \sum_{i\in V}I(i)_{xx} w (i-i_0) & \sum_{i\in V}I(i)_{xy}w (i-i_0) \\ \sum_{i\in V}I(i)_{xy} w (i-i_0)& \sum_{i\in V}I(i)_{yy} w (i-i_0)\\ \end{array} \right]$

o $w(t)$ é um núcleo gaussiano. O eq anterior diz para você integrar os valores derivativos nas proximidades $V$ em torno do pixel atual. Cada valor dos vizinhos é multiplicado por um valor que diminui à medida que a distância aumenta. A lei da diminuição segue uma gaussiana, porque $w(t)$ é Gaussian centrado em $i_0$ . E é isso com a matemática.

Agora, voltando às observações empíricas. Se você usar apenas as derivadas e esse pixel fizer parte de uma estrutura linear (aresta), obterá uma forte resposta para as derivadas. Por outro lado, se o pixel estiver em um canto (uma interseção de duas arestas), as respostas derivadas serão canceladas.

Dizendo isso, o Hessian é capaz de capturar a estrutura local naquela vizinhança sem o efeito de "cancelamento". MAS muito importante, você precisa se integrar para obter um Hessian adequado.

Tendo um Hessian, obtido usando o método Harris ou por outros meios, pode-se extrair informações sobre a vizinhança. Existem métodos para obter valores numéricos sobre a probabilidade de ter uma aresta no pixel atual, em um canto, etc. Verifique a teoria de detecção de canto.

Agora, sobre "pontos estáveis" ou pontos salientes. Imagine que você está em uma cidade estrangeira sem GPS e apenas com um bom mapa. Se você for "teleportado" no meio de uma rua, poderá localizá-la no mapa, mas não poderá dizer onde está exatamente nessa rua ou em que direção deve se mover para a esquerda ou para a direita (escrita no mapa ) Imagine agora que você está em um cruzamento. Então, você pode apontar sua posição no mapa com precisão! (Obviamente, suponha que duas ruas não se cruzem mais de uma vez).

Imagine agora que você deve combinar duas imagens. Um atua como um mapa e o outro como a cidade. Você deve encontrar pixels que possam ser descritos exclusivamente, para fazer a correspondência. Verifique as imagens nesta postagem, por exemplo, de correspondência. Esses pontos são chamados de pontos salientes. Além disso, os pontos dos cantos tendem a não alterar suas propriedades de "curvatura" quando a imagem é dimensionada, traduzida, girada, inclinada etc. (transformações afins) É por isso que são chamados de "estáveis".

Alguns pontos da imagem permitem identificá-los exclusivamente. Esses pixels estão localizados nos cantos ou na interseção de linhas. Imagine que sua vizinhança $V$ está em uma linha. Exceto pela orientação da linha, você não pode encontrar mais nada a partir dessa vizinhança. Mas se $V$ está em uma esquina, você pode descobrir as direções das linhas que se cruzam, talvez o ângulo etc.

Nem todos os pontos de canto são salientes, mas apenas os pontos de canto têm grandes chances de serem salientes.

Espero que ajude!

ps Como descobrir se um ponto está no canto ou não, dê uma olhada no artigo de Harris.

pps Mais sobre correspondência, procure por SIFT ou SURF.

ppps Existe uma "generalização" do método Harris, chamado Structure Tensor. Confira o trabalho seminal de Knutsson !

— visoft
fonte

Correção pequena: a integração nas proximidades de cada pixel é importante para as abordagens de Harris e de tensor de estrutura. Para o Hessian, não faz muito sentido: é equivalente a usar um tamanho de filtro maior para os filtros derivativos de 2ª ordem.

— Niki Estner

@nikie você está correto, se você tiver um sinal analítico. Para imagens digitais (onde você tem valores discretos em uma grade), o raciocínio não se aplica. Você precisa integrar o Hessian, caso contrário, obtém uma matriz degenerada. Existe uma forma de tensor de estrutura que não precisa de integração e pode trabalhar com derivadas calculadas apenas para o pixel atual. Veja o link Knutsson no meu post.

— visoft 23/10/13

@visoft: Não sei ao certo o que você quer dizer. A rigor, o hessiano é definido apenas para funções diferenciáveis, não para imagens. Você geralmente o aproxima por convolução com um núcleo de filtro derivativo (por exemplo, derivado gaussiano). Se você fizer isso, obtém uma matriz Hessiana para cada pixel que não é degenerado. E a integração nesses resultados de filtro tem o mesmo efeito que o uso de um kernel maior. Leva apenas mais ciclos de CPU.

— Niki Estner

Ok, vou checar a literatura e voltar para você.

— visoft 23/10/13

@nikie Editei o post, removendo as referências do Hessian.

— visoft 24/10/2013