Como posso calcular uma soma de verificação md5 de um diretório?

Preciso calcular uma soma de verificação md5 resumida para todos os arquivos de um tipo específico ( *.pypor exemplo) colocados em um diretório e em todos os subdiretórios.

Qual o melhor jeito pra fazer isso?

Edit: As soluções propostas são muito boas, mas isso não é exatamente o que eu preciso. Estou procurando uma solução para obter uma única soma de verificação de resumo que identifique exclusivamente o diretório como um todo - incluindo o conteúdo de todos os seus subdiretórios.

find /path/to/dir/ -type f -name "*.py" -exec md5sum {} + | awk '{print $1}' | sort | md5sum

O comando find lista todos os arquivos que terminam em .py. O md5sum é calculado para cada arquivo .py. O awk é usado para selecionar os md5sums (ignorando os nomes dos arquivos, que podem não ser únicos). Os md5sums são classificados. O md5sum dessa lista classificada é retornado.

Eu testei isso copiando um diretório de teste:

rsync -a ~/pybin/ ~/pybin2/

Renomeei alguns dos arquivos em ~ / pybin2.

O find...md5sumcomando retorna a mesma saída para os dois diretórios.

2bcf49a4d19ef9abd284311108d626f1  -

Crie um arquivo tar em tempo real e faça o pipe para md5sum:

tar c dir | md5sum

Isso produz um único md5sum que deve ser exclusivo para a sua configuração de arquivo e subdiretório. Nenhum arquivo é criado no disco.

A sugestão de ire_and_curses de usar tar c <dir>tem alguns problemas:

• O tar processa as entradas do diretório na ordem em que são armazenadas no sistema de arquivos e não há como alterar essa ordem. Isso efetivamente pode gerar resultados completamente diferentes se você tiver o diretório "mesmo" em locais diferentes, e não sei como corrigir isso (o tar não pode "classificar" seus arquivos de entrada em uma ordem específica).
• Eu geralmente me importo se os números groupid e ownerid são os mesmos, não necessariamente se a representação em string do grupo / owner é a mesma. Isso está alinhado com o que, por exemplo, rsync -a --deletefaz: sincroniza praticamente tudo (menos xattrs e acls), mas sincroniza o proprietário e o grupo com base em seu ID, não na representação de cadeias. Portanto, se você sincronizou com um sistema diferente que não necessariamente tem os mesmos usuários / grupos, adicione o --numeric-ownersinalizador ao tar
• O tar incluirá o nome do arquivo do diretório que você está verificando, apenas algo para estar ciente.

Enquanto não houver solução para o primeiro problema (ou a menos que você tenha certeza de que isso não o afeta), eu não usaria essa abordagem.

As findsoluções baseadas propostas acima também não são boas, pois incluem apenas arquivos, não diretórios, o que se torna um problema se você usar a soma de verificação em diretórios vazios.

Por fim, a maioria das soluções sugeridas não é classificada de maneira consistente, pois o agrupamento pode ser diferente entre os sistemas.

Esta é a solução que eu vim com:

dir=<mydir>; (find "$dir" -type f -exec md5sum {} +; find "$dir" -type d) | LC_ALL=C sort | md5sum

Notas sobre esta solução:

• O LC_ALL=Cobjetivo é garantir uma ordem de classificação confiável entre os sistemas
• Isso não diferencia entre um diretório "nomeado \ nwithanewline" e dois diretórios "nomeado" e "withanewline", mas a chance de isso ocorrer parece muito improvável. Geralmente, isso é corrigido com um -print0sinalizador, findmas, como há outras coisas acontecendo aqui, só consigo ver soluções que tornariam o comando mais complicado do que vale a pena.

PS: um dos meus sistemas usa um busybox limitado findque não suporta -execnem -print0sinalizadores, e também adiciona '/' para indicar diretórios, enquanto o findutils find não parece, então, para esta máquina, preciso executar:

dir=<mydir>; (find "$dir" -type f | while read f; do md5sum "$f"; done; find "$dir" -type d | sed 's#/$##') | LC_ALL=C sort | md5sum

Felizmente, não tenho arquivos / diretórios com novas linhas em seus nomes, portanto isso não é um problema nesse sistema.

Se você se importa apenas com arquivos e não com diretórios vazios, isso funciona muito bem:

find /path -type f | sort -u | xargs cat | md5sum

Por uma questão de completude, há md5deep (1) ; não é diretamente aplicável devido ao requisito de filtro * .py, mas deve funcionar bem com find (1).

Uma solução que funcionou melhor para mim:

find "$path" -type f -print0 | sort -z | xargs -r0 md5sum | md5sum

Razão pela qual funcionou melhor para mim:

1. lida com nomes de arquivos contendo espaços
2. Ignora os metadados do sistema de arquivos
3. Detecta se o arquivo foi renomeado

Problemas com outras respostas:

Os metadados do sistema de arquivos não são ignorados para:

tar c - "$path" | md5sum

Não manipula nomes de arquivos que contenham espaços nem detecta se o arquivo foi renomeado:

find /path -type f | sort -u | xargs cat | md5sum

Se você quiser um md5sum abrangendo todo o diretório, eu faria algo como

cat *.py | md5sum 

Soma de verificação todos os arquivos, incluindo o conteúdo e seus nomes de arquivo

grep -ar -e . /your/dir | md5sum | cut -c-32

O mesmo que acima, mas incluindo apenas arquivos * .py

grep -ar -e . --include="*.py" /your/dir | md5sum | cut -c-32

Você também pode seguir links simbólicos, se quiser

grep -aR -e . /your/dir | md5sum | cut -c-32

Outras opções que você pode considerar usar com grep

-s, --no-messages         suppress error messages
-D, --devices=ACTION      how to handle devices, FIFOs and sockets;
-Z, --null                print 0 byte after FILE name
-U, --binary              do not strip CR characters at EOL (MSDOS/Windows)

Localização GNU

find /path -type f -name "*.py" -exec md5sum "{}" +;

Tecnicamente, você só precisa executar ls -lR *.py | md5sum. A menos que você esteja preocupado com alguém modificando os arquivos e retornando-os às datas originais e nunca alterando o tamanho dos arquivos, a saída de lsdeve informar se o arquivo foi alterado. Meu unix-foo é fraco, então você pode precisar de mais alguns parâmetros de linha de comando para obter o tempo de criação e o tempo de modificação para impressão. lstambém informará se as permissões dos arquivos foram alteradas (e tenho certeza de que existem opções para desativá-lo, se você não se importar com isso).

Usando md5deep:

md5deep -r FOLDER | awk '{print $1}' | sort | md5sum

Eu tive o mesmo problema, então criei este script que apenas lista os md5sums dos arquivos no diretório e, se encontrar um subdiretório, será executado novamente a partir daí, para que isso aconteça, o script deve ser capaz de executar os procedimentos atuais. diretório ou de um subdiretório se o argumento for passado em $ 1

#!/bin/bash

if [ -z "$1" ] ; then

# loop in current dir
ls | while read line; do
  ecriv=`pwd`"/"$line
if [ -f $ecriv ] ; then
    md5sum "$ecriv"
elif [ -d $ecriv ] ; then
    sh myScript "$line" # call this script again
fi

done


else # if a directory is specified in argument $1

ls "$1" | while read line; do
  ecriv=`pwd`"/$1/"$line

if [ -f $ecriv ] ; then
    md5sum "$ecriv"

elif [ -d $ecriv ] ; then
    sh myScript "$line"
fi

done


fi

Se você quer realmente independência dos atributos do sistema de arquivos e das diferenças no nível de bit de algumas versões tar, você pode usar o cpio:

cpio -i -e theDirname | md5sum

Existem mais duas soluções:

Crio:

du -csxb /path | md5sum > file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum > /tmp/file

Verifica:

du -csxb /path | md5sum -c file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum -c /tmp/file

md5sumfuncionou bem para mim, mas tive problemas com a sortclassificação de nomes de arquivos. Então, em vez disso, classifiquei por md5sumresultado. Eu também precisava excluir alguns arquivos para criar resultados comparáveis.

find . -type f -print0 \ | xargs -r0 md5sum \ | grep -v ".env" \ | grep -v "vendor/autoload.php" \ | grep -v "vendor/composer/" \ | sort -d \ | md5sum