Quais localizadores duplicados de arquivos e pastas existem para o Windows? [fechadas]


Respostas:


9

Havia esse Duplicate File Finder disponível por algum tempo, mas agora é apenas em sites secundários, como esta referência da Softpedia .

O site do Wareseeker mostra a referência correta http://dff.nazrashid.com/que não está mais presente. Eu seria cuidadoso ao buscar executáveis ​​em tais sites.

Ele pode pesquisar duplicatas em várias árvores de diretório com base em,

  • conteúdo (acho que faz uma correspondência md5)
  • Tamanho
  • nome
  • nome e tamanho
  • conteúdo e nome

Além disso, permite filtrar sua pesquisa por um tamanho mínimo e máximo de arquivos (acelera as coisas quando você conhece os limites).

Um software muito atencioso. Não sei se há algo tão rápido e com recursos gratuitos hoje em dia.


Os comentários se referem a uma ferramenta semelhante do Sourceforge chamada Doubles


2
Na verdade, ele está disponível no SourceForge aqui: doubles.sourceforge.net
BinaryMisfit

3
Posso sugerir a remoção do link do Wareseaker. Acho que precisamos ter cuidado ao nos referirmos aos sites do Warez em geral.
BinaryMisfit 18/07/2009

Eu concordo com você Diago. Tentei localizar a ferramenta DupeFinder e nunca consegui encontrá-la. A doublesferramenta parece semelhante, mas não é a mesma coisa.
1919

11
Para o que vale, encontrei o site (pelo menos na página inicial) na Wayback Machine: wayback.archive.org/web/20070115135708/http://dff.nazrashid.com com outro link para download: wayback.archive.org /web/20061207062803/http://dff.nazrashid.com/…
seanf

25

Eu tentei literalmente dezenas de localizadores de arquivos duplicados (ainda tenho os instaladores / arquivos ZIP de cerca de 20 deles). Eu usei o CloneMaster 2.19 por um tempo, porque era o melhor que eu conseguia encontrar, embora até isso não fosse perfeito (eu queria um que também pudesse detectar MP3s duplicados por conteúdo de áudio, ignorando as tags). Todos eles tiveram problemas que me frustraram o suficiente para que eu decidisse escrever o meu e fiz uma lista dos recursos que eu exijo de um DFF.

E então eu encontrei AllDup . É o primeiro e único que realmente me fez abandonar um projeto (tecnicamente o meu não está completamente abandonado, não está mais sendo trabalhado, pois não preciso mais escrever, porque o AllDup faz tudo o que eu quero). De qualquer forma, o AllDup procura por arquivos duplicados, mas, ao contrário dos outros, usa muitos truques e técnicas que eu usaria no meu próprio DFF. Como tal, é muito rápido: pode, por exemplo, digitalizar> 250.000 tamanhos de 1B-5GB em ~ 30 minutos (já fiz isso várias vezes no meu sistema).

Outro ótimo recurso (e por algum motivo raro) do AllDup é que eu mencionei que ele pode procurar por MP3s duplicados pelos dados de áudio enquanto ignora as tags. Portanto, dois MP3s iguais, mas com tags diferentes (muito comuns no download) ser detectado como duplicado. (Ele pode até detectar quando eu copiei duas músicas idênticas de dois CDs diferentes - com tags diferentes, é claro.) É claro que ele pode detectar dupes com base em outros fatores além do conteúdo de byte a byte, como nomes de arquivos, datas etc.

Outros ótimos recursos do AllDup incluem a capacidade de filtrar (incluir ou excluir) com base no nome do arquivo e / ou nome da pasta e / ou tamanho do arquivo. A tela de resultados também é muito versátil, com opções para selecionar arquivos com base em data, caminho, nome, isso, aquilo, outro ... Também tem variedade no que fazer com duplicatas detectadas

Michael Thummerer também é muito receptivo. Eu relatei bugs e sugeri recursos para ele várias vezes, os quais ele abordou com extrema rapidez (a ponto de ele me pedir para baixar e experimentar uma versão beta com as atualizações nos próximos e-mails no mesmo dia).

Ah, e é grátis.

HTH


O link não funciona.
Joseph

Obrigado pelo aviso. Acho que devo ter digitado o URL manualmente e perseverado no GTLD.
Synetech

Não, o que aconteceu foi que a correção automática do Chrome inverteu os 'e' e 'd' (como acontece quando tento digitar dr. ) Grrr. (É fixa, para o registro.)
Synetech

Eu também usei muitos, e é nisso que decidi. A interface é um pouco desajeitada, mas tem muitas opções úteis.
Endolith

Você já tentou a versão 3? É bem vendido.
Synetech

14

O Duplicate Cleaner é muito rápido e possui amplas possibilidades de filtragem de conjunto de resultados.


Isso parece legal. É freeware, funciona no Windows 7, possui vários métodos de filtragem e suporta a criação de links físicos NTFS em vez de exclusão.
endolith 13/01/10

11
Não é possível lidar com nomes de arquivos Unicode?
endolith 26/01

11
Ele lida com pastas duplicadas?
Anderson Green

11
Na verdade, ele lida com pastas duplicadas. Este é o primeiro programa que eu encontrei (até agora) que pode identificar pastas duplicadas e arquivos duplicados.
Anderson Green

A versão Pro lida com arquivos de imagem rotacionados. Ótimo! Finalmente, posso classificar minha foto do iOS nos meus backups automáticos do Dropbox.
JCMaco #

8

Clonespy http://www.clonespy.com

Acho isso muito útil e mais útil do que o doublekiller. Um recurso particularmente interessante é o recurso "Pools", no qual você pode comparar um grupo de diretórios com outro grupo de diretórios e ignorar duplicatas nos grupos.

Por exemplo, meu parceiro gosta de manter arquivos de imagem duplicados enquanto trabalha com imagens. Quero ver se tenho cópias desses arquivos nos meus diretórios.

Pool 1 - Diretório Pessoal do Parceiro Pool 2 - Meu Diretório Pessoal.

As únicas duplicatas encontradas são se um arquivo estiver presente nos meus diretórios e nos diretórios do meu parceiro. Os arquivos duplicados apenas nos diretórios do meu parceiro são ignorados.


Você pode usar o CloneSpy para encontrar todos os arquivos duplicados (ou pastas duplicadas) em um diretório específico?
Anderson Green

@AndersonGreen Sim por arquivos duplicados
FelipeAls

Este é o único localizador de fraudes que eu me deparei que permite fazer uma comparação cruzada de um único arquivo (desde que você o coloque em um local adequado de pasta) ou de uma estrutura em árvore, contra outra estrutura em árvore (ou em um conjunto de pastas) ou estruturas de árvores). Todas as outras ferramentas que tentei ao longo dos anos falharam exatamente nesse ponto! Este é o único que faz isso corretamente.
Samir

Muitas vezes me encontrei em uma situação em que sei que estou vendo um arquivo que possui uma cópia duplicada em outro lugar, mas não consigo me lembrar onde essa outra cópia está armazenada. Soa familiar? Ou sei que o arquivo é uma cópia de outro arquivo e até sei o local dessa outra cópia, mas tenho que compará-lo para ver qual é o que eu quero manter. Eu posso até ter duas ou três outras cópias ou versões dele naquele segundo local. Este é o ponto de ruptura em que a distinção entre uma ferramenta diff e uma ferramenta dupe se torna nebulosa.
Samir

A comparação piscina a piscina é simplesmente um assassino! Essa é uma grande vantagem sobre outras ferramentas. No que diz respeito às ferramentas diff e dupe, ainda não encontrei uma que forje ambas em um único software. Acho que o Beyond Compare chega perto disso, mas ainda está a uma milha de distância. Definitivamente, tem o potencial e são as melhores ferramentas de diff que usei.
Samir

7

Eu tenho o seguinte arquivo em lotes por algum tempo:

@ECHO OFF
REM TODO: Help when run with /? and switch for recursion
REM Furthermore check whether we might have enough files to hit the envvar length limit
REM and switch strategies accordingly (slower but finds all dupes then)
SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION
REM This method speeds up comparison but suffers from long file lists
REM as environment variables have a length limit
SET FILELIST=
FOR %1 %%i IN (*) DO (
    FOR %%j IN (!FILELIST!) DO (
        IF %%~zi EQU %%~zj (
            fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j"
        )
    )
    SET FILELIST=!FILELIST! "%%~i"
)
ENDLOCAL
GOTO :EOF

Você pode executá-lo /rcomo argumento para executar recursivamente através da árvore de diretórios.


11
Solução geek impressionante!
JBRWilkinson

Downvoter: Ajudaria se você dissesse por que isso não foi útil na sua opinião.
Joey

Uma pequena palavra de aviso é que, às vezes, aninhado para loops no Windows, o loop externo é encerrado silenciosamente prematuramente em grandes estruturas de diretório. Eu tive mais sorte em ter o loop externo em callum arquivo em lotes separado contendo o loop interno.
Mikewse #

4

O Total Commander possui um brilhante utilitário de busca de arquivos duplicados. Infelizmente não é grátis.

Como o Nik mencionou, existe o Duplicate File Finder, que é de código aberto e multiplataforma. Está disponível no SourceForge aqui



3

Winmerge http://winmerge.org/

Compare diretórios muito semelhantes, talvez entre a pasta "Documentos" e a pasta "backup", "Cópia de documentos" que você criou há várias semanas "por precaução".

Você pode descobrir quais arquivos ainda são idênticos, quais arquivos são os mais novos (ou mais antigos, se você encontrou um problema) e quais arquivos existem apenas em um único local. Então você pode "mesclar" os diretórios e excluir as duplicatas.


Você pode usar o WinMerge para obter uma lista de arquivos e pastas duplicados em um diretório específico?
Anderson Green



1

Eu sempre usei um programa antigo Find Duplicates , mas agora que o Geocities foi eliminado, acho que ele não existe mais, então aqui está uma cópia do arquivo .

Ele exibe os arquivos em grupos fáceis de ver, isolados por cores. Ele avisa se você marcou todas as cópias de um arquivo para exclusão, pode automarcá-las, auto seletivamente todos os arquivos em um diretório (usei muito isso), pode excluir diretórios que ficam vazios após as exclusões, etc. cuidado com os links se você o estiver usando no Wine. Ele excluirá todas as cópias de um arquivo sem saber que são links.


Eu mudei para AllDup.
Endolith

1

Eu encontrei o Yet Another Duplicate File Remover para ser incrível. É muito novo e muito fácil de usar. Usei-o para comparar mais de 50.000 arquivos de um projeto de recuperação de disco rígido, para que ele possa lidar com uma grande quantidade de arquivos.


1

A melhor solução que testei no Windows foi o já mencionado Alldup . Adereços para Synetech inc. por compartilhá-lo. Ferramenta freeware brilhante e muito profissional.

No post, forneço soluções testadas do bash que funcionarão no Cygwin, Linux e OS X (ou qualquer coisa que use shell semelhante ao bash).

Procurando por arquivos duplicados usando freeware e ferramentas de código aberto


2
O AllDup pode gerar uma lista de pastas duplicadas em vez de arquivos duplicados?
Anderson Green

não que eu esteja ciente de
Kyle

1

Outro utilitário:

http://yurichev.com/ddff.html

* Comparison to other duplicate finding utilities:

+ Very fast
+ Comparing directories too.
+ Often, two directories contain, let's say, 4 equal files and 5th file is different.
  We handle it too and output these as "common files in directories"
+ Absence of unnecessary switches.

- Win32 only
- Command-line only

1

Localizador de arquivos duplicado rápido:

  • Completamente grátis
  • Pode identificar duplicatas, independentemente de onde elas estejam na estrutura de diretório / pasta
  • UI do Windows fácil de usar
  • Pode produzir relatórios no formato XML
  • Pode mover as duplicatas para a lixeira ou outra pasta raiz, mantendo a estrutura da pasta original, por exemplo, se um arquivo duplicado estivesse dentro de uma pasta dentro de outra pasta, esse caminho seria retido: o arquivo ainda existiria dentro da pasta da pasta e essa estrutura de quem seria movida para a pasta que o usuário escolher - seja a lixeira ou uma pasta especificada pelo usuário
  • Algoritmo rápido de comparação binária, além de verificar o tamanho e o nome do arquivo.

http://www.mindgems.com/products/Fast-Duplicate-File-Finder/Fast-Duplicate-File-Finder-About.htm


você pode explicar os pontos 2 e 5?
Milind R

@MilindR atualizados por favor deixe-me saber se isso ajuda
therobyouknow

Obrigado .. Ainda não entendi o ponto 2. Arquivos duplicados devem ser encontrados em qualquer lugar, certo?
precisa saber é o seguinte

Sim, correto. Por exemplo: considere 2 arquivos com exatamente o mesmo conteúdo. O arquivo 1 está no caminho / pasta1 / pasta2 / arquivo1 e o arquivo 2 está no caminho / pasta3 / pasta4 / pasta5 / arquivo2 - O Fast Duplicate File Finder encontrará os dois e os reportará da mesma forma, e o usuário poderá escolher qual deles quer removido.
therobyouknow

Ah, sim, isso esclarece. Embora eu pense que isso geralmente é um dado adquirido ao considerar um programa que procura arquivos duplicados.
Milind R
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.