Além da resposta de Penélope, existem duas abordagens, o hash perceptivo e o modelo de saco de palavras cuja funcionalidade básica é facilmente implementada e é agradável brincar com ou aprender com ela antes de se aventurar em um território mais avançado.
Hash perceptivo
Os algoritmos de hash perceptivo têm como objetivo construir um hash, que diferentemente de um hash criptográfico, fornecerá valores de hash semelhantes ou quase similares para imagens idênticas que foram ligeiramente distorcidas, por exemplo, por escala ou compactação JPEG. Eles servem a um propósito útil na detecção perto de duplicatas em uma coleção de imagens.
Em sua forma mais básica, você pode implementar isso da seguinte maneira:
Converter imagem em escala de cinza
Faça com que sua imagem seja zero
- Esmague sua imagem no tamanho de miniatura, digamos [32x32]
- Execute a transformação discreta de cosseno bidimensional
- Mantenha a parte superior esquerda [8 x 8], os componentes de baixa frequência mais significativos
- Binarize o bloco, com base no sinal dos componentes
O resultado é um hash resiliente de 64 bits, porque é baseado nos componentes de baixa frequência da imagem. Uma variante desse tema seria dividir cada imagem em 64 sub-blocos e comparar a média da imagem global com a média do sub-bloco local e escrever 1 ou 0 de acordo.
O hash perceptivo é implementado, por exemplo, por phash
Modelo de saco de palavras
O modelo de saco de palavras visa identificar semanticamente uma imagem, por exemplo, todas as imagens com cães. Isso é feito usando certos patches de imagem no mesmo espírito que se classificaria um documento de texto com base na ocorrência de certas palavras. Pode-se categorizar as palavras, dizer "cachorro" e "cães" e armazená-las como identificador em um arquivo invertido, onde a categoria "cachorro" agora aponta para todos os documentos que contêm "cachorro" ou "cães".
Em sua forma mais simples, é possível fazer isso com imagens da seguinte maneira:
- Implante os chamados recursos SIFT, por exemplo, usando a excelente biblioteca vlfeat , que detectará os pontos de recurso SIFT e um descritor SIFT por ponto. Esse descritor é basicamente um modelo inteligente do patch de imagem em torno desse ponto de recurso. Esses descritores são suas palavras cruas.
- Reúna descritores SIFT para todas as imagens relevantes
Agora você tem uma enorme coleção de descritores SIFT. O problema é que, mesmo a partir de imagens quase idênticas, haverá alguma incompatibilidade entre os descritores. Você deseja agrupar os idênticos mais ou menos como tratar algumas palavras, como "cachorro" e "cães" como idênticos e precisa compensar os erros. É aqui que entra o cluster para jogar.
- Pegue todos os descritores SIFT e agrupe-os, por exemplo, com um algoritmo como k-means. Isso encontrará um número pré-determinado de clusters com centróides nos dados do seu descritor. Esses centróides são suas novas palavras visuais.
- Agora, por imagem e seus descritores encontrados originais, é possível ver os clusters aos quais esses descritores foram atribuídos. A partir disso, você sabe quais centróides ou palavras visuais 'pertencem' à sua imagem. Esses centróides ou palavras visuais se tornam o novo descritor semântico da sua imagem, que pode ser armazenado em um arquivo invertido.
Uma consulta de imagem, por exemplo, encontre-me imagens semelhantes à imagem de consulta, será resolvida da seguinte maneira:
- Encontre os pontos SIFT e seus descritores na imagem da consulta
- Atribua os descritores da consulta aos centróides encontrados anteriormente na fase de inscrição. Agora você tem um conjunto de centróides ou palavras visuais que pertencem à sua imagem de consulta
- Associe as palavras visuais da consulta às palavras visuais no seu arquivo invertido e retorne as imagens correspondentes