Arquitetura de rede neural para identificar cópias de imagens

Tenho uma grande coleção de imagens e desejo identificar as imagens dessa coleção que parecem copiar outras imagens da coleção.

Para dar uma idéia dos tipos de pares de imagens que desejo classificar como correspondências, considere estes exemplos:

Eu classifiquei manualmente cerca de 0,25M de pares de imagens correspondentes e agora desejo usar essas correspondências rotuladas à mão para treinar um modelo de rede neural. Só não tenho certeza de qual arquitetura seria ideal para esta tarefa.

Originalmente, pensei que uma rede siamesa poderia ser apropriada, pois elas foram usadas para tarefas semelhantes, mas a saída desses classificadores parece ser mais ideal para encontrar diferentes figuras do mesmo objeto (que não é o que eu quero), em vez de impressões diferentes da mesma figura (que é o que eu quero).

Se alguém puder ajudar a recomendar papéis ou arquiteturas ideais para identificar imagens, com base nos dados de treinamento que eu preparei, ficaria imensamente grato por todas as idéias que você puder oferecer.

Você precisa ler sobre a função de perda de trigêmeos . A função de perda de trigêmeos obtém resultados de incorporação de uma rede, que processam 3 imagens por uma rede (2 semelhantes e 1 não semelhante) por uma etapa:

Após essa perda de computação como:

Para mais detalhes, leia o artigo dos autores de perda de trigêmeos.

Também pode ajudar o PSNR , mas isso não é Deep Learning.

Se as imagens forem mais parecidas com as postadas, você poderá usar o índice de similaridade estrutural, que fornece uma saída no intervalo de -1 a 1. qualquer coisa acima de 0,9 pode ser considerada semelhante.