Como posso encontrar vídeos duplicados em um grande conjunto de vídeos de formatos variados?

Depois de perder um dispositivo de backup com vários dos meus vídeos originais, tive que baixar um grande número deles (~ 300) do YouTube. Os novos downloads são uma mistura de MP4 e FLV, e os originais são uma mistura de praticamente qualquer formato de vídeo devido a muitas experiências.

Para piorar a situação, não há um corte claro para quando minhas cópias locais desapareceram; Eu encontrei um ponto em meus vídeos do youtube em ordem cronológica em que tenho alguns vídeos e outros. Eu tenho tentado eliminar manualmente vídeos onde já tenho uma cópia, mas com tantos vídeos, tenho certeza de que perdi alguns.

Como posso efetivamente passar por centenas de vídeos de diferentes formatos e eliminar duplicatas? Os nomes serão semelhantes, mas não idênticos. Os formatos podem ser diferentes e o tamanho do arquivo pode ser diferente devido a isso (e / ou diferenças de codificação). O tamanho do arquivo deve ser o mesmo e, visualmente, os vídeos devem ser semelhantes o suficiente, mas não tenho certeza de que exista alguma ferramenta para resolver isso visualmente.

Estou fadado a percorrer a lista com base no tempo de execução e procurar manualmente por duplicatas ou existe uma maneira melhor?

Eu recomendaria uma abordagem híbrida usando computadores e pessoas.

1. Amplie os vídeos pela duração (arredondar para o segundo mais próximo)
2. Para cada intervalo, use ffmpeg para gerar miniaturas em um ponto previsível e uniforme nos vídeos (por exemplo: um quadro de 10 segundos no vídeo)
3. Observe as miniaturas geradas em uma grade (a maioria dos sistemas operacionais oferece uma bela exibição em miniatura) e verifique se há duplicatas para remover.

Você não precisa fazer nenhuma programação para executar essas etapas, embora a criação das miniaturas na linha de comando com o ffmpeg possa exigir um pouco de requinte. Boa sorte!

O software de reconhecimento de vídeo é, eu diria, um nicho de mercado, o que significa que você encontrará softwares muito caros e / ou softwares direcionados ao governo , à indústria cinematográfica e assim por diante.

Ele funciona com vídeo de "impressão digital" para que possa reconhecê-lo, apesar de diferentes formatos, compressões, cortes etc. Essa capacidade não é tão comum no mundo não forense (pelo menos ainda não).

Tentei encontrar algo que visasse os consumidores, mas não consegui encontrar nenhum. Existem APIs (interfaces de programação) que fornecem tecnologia para isso, e até de graça, mas você precisará desenvolver o software para usá-lo, o que tenho certeza de que está além do escopo do que você está solicitando.

Concluindo, a menos que você queira gastar uma quantia considerável de dinheiro em software especializado, precisará percorrer a pilha manualmente. No entanto, no meu link acima, você encontrará uma versão de avaliação desse software para ver se é isso que você está procurando e se funciona para o seu propósito.

Você pode experimentar o Video Comparer (shareware).

http://www.video-comparer.com

Ele detecta rapidamente vídeos semelhantes com transformações de imagem e suporta vídeos divididos em vários CDs.

Eu tive o mesmo problema recentemente e encontrei o programa que me ajudou. Não compara nomes de arquivos ou calcula hashes. Ele compara o conteúdo de vídeo real. Não é gratuito, mas se você não tiver muitas duplicatas, a versão de teste é suficiente. O link para o programa é http://duplicatevideosearch.com

Imagens semelhantes - https://tn123.org/simimages/ é um pouco antiga, mas ainda funcional.