Perguntas com a marcação «duplicate»

Existe um localizador de imagens duplicadas de código aberto e gratuito para sistemas baseados em Linux? Encontrar duplicatas exatas (com base no conteúdo, não no nome do arquivo) é suficiente para mim, mas a capacidade de encontrar imagens semelhantes certamente seria ótima também.

16 search  image-manipulation  images  duplicate 

Eu tenho uma string como "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Eu quero remover a palavra duplicada da string e a saída será como "aaa,bbb,ccc" Eu tentei este código fonte $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Está funcionando bem com o mesmo valor, mas …

12 shell-script  shell  text-processing  xargs  duplicate 

Eu tenho uma pasta com arquivos duplicados (por md5sum( md5em um Mac)) e quero ter umcron trabalho agendado para remover qualquer encontrado. No entanto, eu estou preso em como fazer isso. O que tenho até agora: md5 -r * | sort Que gera algo como isto: 04c5d52b7acdfbecd5f3bdd8a39bf8fb gordondam_en-au11915031300_1366x768.jpg 1e88c6899920d2c192897c886e764fc2 fortbourtange_zh-cn9788197909_1366x768.jpg …

10 bash  shell-script  hashsum  duplicate 

Algumas revistas geram um PDF diferente para cada download. O APS, por exemplo, armazena o tempo e o endereço IP no PDF. Ou há uma versão em papel com hiperlinks e outra com referências de texto. Como é possível encontrar downloads duplicados de papéis com conteúdo igual a 90% em …

9 scripting  pdf  imagemagick  duplicate 

Estou executando o Mac OSX e tentando usar a linha de comando para encontrar o número de arquivos que tenho com o mesmo nome. Eu tentei usar o seguinte comando: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files Isso não funciona! Quando …

9 find  osx  filenames  duplicate  basename 

Eu tenho uma enorme biblioteca de músicas (todas mp3), mas algumas das músicas são quase as mesmas, mas: Talvez um ou dois segundos a mais Aproximadamente 97% o mesmo que outra música Ou outra taxa de bits. Existe uma maneira de encontrar essas duplicatas? Como mencionado, eles não têm o …

9 mp3  music  duplicate 

Esta pergunta / resposta tem algumas boas soluções para excluir linhas idênticas em um arquivo, mas não funcionará no meu caso, pois as linhas duplicadas têm um carimbo de data / hora. É possível dizer ao awk para ignorar os primeiros 26 caracteres de uma linha na determinação de duplicatas? …

8 text-processing  awk  duplicate  deduplication