Como identificar arquivos de imagem duplicados?

Ao longo dos anos, acumulei muitas fotos em várias máquinas diferentes.

Eu acho que eu os mantive principalmente em uma estrutura de diretório aaaa / mm /, mas especialmente com algumas das imagens mais antigas, parece haver muitas duplicatas.

Qual é a melhor maneira de identificar as duplicatas? Existem boas ferramentas para fazer isso ou terei que escrever algo sozinho?

Vários programas podem encontrar duplicados com base no conteúdo da imagem. Alguns aplicativos de gerenciamento de ativos farão isso e também existem programas dedicados. Se você Google 'detectar imagens duplicadas', verá várias opções. Veja quais estão disponíveis para sua plataforma.

Outra solução é simplesmente importar os arquivos com a opção 'ignorar duplicado'. O Picasa, que é gratuito, pode fazê-lo.

Para Linux, tente o FSlint . É um pouco lento, mas definitivamente encontrará duplicatas.

O dupeGuru Picture Edition é um localizador de imagens duplicadas personalizável para Windows, Mac OS X e Linux.

Existem algumas versões do dupeGuru (edições padrão, de música e de imagem), e a edição de imagens permite encontrar imagens visualmente semelhantes por meio de um algoritmo de comparação de bloqueio de bitmap, entre outros métodos (como o carimbo de data / hora da imagem original EXIF ​​ou os arquivos simplesmente idênticos) .

Possui vários outros recursos úteis, como pastas excluídas, suporte para bibliotecas do iPhoto / Aperture e considerável personalização de como ele detecta duplicatas e o que faz com elas.

O Picasa possui um localizador de arquivos duplicado, mas é difícil saber o que você está vendo: Execute o Picasa; clique Tools> Experimental> Show Duplicate Files. Ele funciona , mas tenha cuidado com o que você está excluindo.

Outra opção é o "Fast Duplicate File Finder" gratuito :

Localizador de arquivos duplicado rápido

O que eu gostei sobre isso é que você pode visualizar a imagem antes de decidir que não precisa da duplicata.

Isso funciona bem desde que os arquivos sejam idênticos , mas se você estiver procurando por fotos semelhantes (por exemplo, a mesma foto, mas redimensionada, girada ou manipulada), convém consultar a versão atualizada:

Localidade de imagens duplicadas de semelhança visual

Eu não usei este programa, mas usei um programa muito semelhante (não é mais criado) e achei muito útil. Eles têm um download gratuito, por isso pode valer a pena conferir.

digikam (Linux, Windows e Mac) tem uma barra lateral intitulado versões

A guia Versões mostra o histórico e as versões salvas de uma fotografia. Com os três botões no canto superior direito, você pode escolher entre uma lista simples das versões salvas, uma exibição em árvore e uma lista combinada que mostra as versões juntamente com as ações executadas com a fotografia selecionada.

e outra pesquisa intitulada

Pesquisa Rápida é a caixa de pesquisa adaptável na parte superior da caixa de diálogo de pesquisa (Barra Lateral Esquerda) e fornece um meio simples de pesquisar no banco de dados do digiKam com uma única consulta. Você pode inserir qualquer argumento no campo de texto Pesquisar: e ele será usado para determinar os resultados. Por exemplo, você pode inserir a string 'aniversário' para pesquisar ocorrências da palavra 'aniversário' no banco de dados completo em todos os campos de texto de metadados ou '05 .png 'para procurar um nome de arquivo de imagem específico '05 .png' ( não há como escapar, como nas expressões necessárias).

(Ele também possui uma configuração avançada que permite várias pesquisas booleanas)

e outro intitulado difuso

O digiKam caracteriza cada imagem por um número extenso usando uma técnica especial (algoritmo Haar) que possibilita comparar imagens comparando esta assinatura calculada. Quanto menor a diferença numérica entre as duas assinaturas de imagem, mais se assemelham. Esta técnica possui três implementações no digiKam: ...

1. Duplicatas
2. Imagem (Itens semelhantes)
3. Esboço

Embora a geração das "assinaturas" e a verificação cruzada delas em um grande número de imagens possa ser um processo lento. Lembre-se também de que algumas pessoas não são fãs porque é um projeto do KDE que não se integra totalmente a outros ambientes de desktop e tenta ser um aplicativo completo com download de imagens, catálogo / palavras-chave, desenvolvimento RAW, desenvolvimento de imagens e mais incluído.

Similar.pictures é um programa on-line para encontrar duplicatas próximas e exatas.

Escrevi porque o Picasa costumava encontrar cópias exatas . E agora o Picasa se foi.

Meus dois centavos. Eu tenho usado:

Pixiple github.com/saolaolsson/pixiple

VisiPics visipics.info

E impressionante duplicado Photo Finder duplicate-finder.com

Uma coisa a considerar é a "imprecisão" da pesquisa. Às vezes, o programa encontra fotos semelhantes, por exemplo, variações da mesma sessão de fotos. Não tenha um gatilho feliz ao excluir suas imagens.

Por favor, faça backup de suas imagens antes de excluir qualquer coisa.

O Acdsee é um aplicativo de navegação de fotos simples / popular que possui esse recurso (Ferramentas -> Localizar duplicatas).

No meu Mac, tive um excelente sucesso com o PhotoSweeper ( http://overmacs.com/ ). Pode funcionar diretamente através do sistema de arquivos ou através de softwares de fotografia populares, como Apple Photos e Adobe Lightroom. É capaz de encontrar duplicatas exatas ou arquivos de imagem semelhantes. E por US $ 10, é um roubo.

DeDup-Image é um script bash para localizar e excluir automaticamente imagens idênticas / fotos duplicadas, mesmo que os metadados sejam diferentes. Ele sempre retém a maior cópia, que provavelmente contém mais metadados e exclui todos os outros objetos encontrados com base no SHA256-HASH das informações reais da imagem sem nenhum metadado. Como o script precisa processar uma variante de cada imagem sem metadados, é um pouco mais lento e exige mais processador do que os programas ou scripts que podem procurar apenas arquivos completamente idênticos.