Como o git calcula hashes de arquivos?

Os hashes SHA1 armazenados nos objetos da árvore (retornados por git ls-tree) não correspondem aos hashes SHA1 do conteúdo do arquivo (retornados por sha1sum)

$ git cat-file blob 4716ca912495c805b94a88ef6dc3fb4aff46bf3c | sha1sum
de20247992af0f949ae8df4fa9a37e4a03d7063e  -

Como o git calcula hashes de arquivos? Comprime o conteúdo antes de calcular o hash?

Git prefixa o objeto com "blob", seguido pelo comprimento (como um número inteiro legível por humanos), seguido por um caractere NUL

$ echo -e 'blob 14\0Hello, World!' | shasum 8ab686eafeb1f44702738c8b0f24f2567c36da6d

Fonte: http://alblue.bandlem.com/2011/08/git-tip-of-week-objects.html

Estou apenas expandindo a resposta @Leif Gruenwoldte detalhando o que está na referência fornecida por@Leif Gruenwoldt

Faça Você Mesmo..

• Etapa 1. Crie um documento de texto vazio (o nome não importa) em seu repositório
• Etapa 2. Preparar e confirmar o documento
• Etapa 3. Identifique o hash do blob executando git ls-tree HEAD
• Etapa 4. Encontre o hash do blob a ser e69de29bb2d1d6434b8b29ae775ad8c2e48c5391
• Etapa 5. Saia da surpresa e leia abaixo

Como o GIT calcula seus hashes de confirmação

    Commit Hash (SHA1) = SHA1("blob " + <size_of_file> + "\0" + <contents_of_file>)

O texto blob⎵é um prefixo constante e \0também é constante e é o NULLcaractere. O <size_of_file>e <contents_of_file>varia dependendo do arquivo.

Consulte: Qual é o formato do arquivo de um objeto de confirmação git?

E isso é tudo!

Mas espere! , você percebeu que <filename>não é um parâmetro usado para o cálculo de hash? Dois arquivos podem ter o mesmo hash se o conteúdo for indiferente à data e hora em que foram criados e ao nome. Essa é uma das razões pelas quais o Git manipula movimentos e renomeia melhor do que outros sistemas de controle de versão.

Faça Você Mesmo (Ext)

• Etapa 6. Crie outro arquivo vazio com um diferente filenameno mesmo diretório
• Etapa 7. Compare os hashes dos dois arquivos.

Nota:

O link não menciona como o treeobjeto está em hash. Eu não tenho certeza do algoritmo e dos parâmetros, no entanto, pela minha observação, provavelmente calcula um hash com base em todos os blobse trees(provavelmente seus hashes) que ele contém

git hash-object

Esta é uma maneira rápida de verificar seu método de teste:

s='abc'
printf "$s" | git hash-object --stdin
printf "blob $(printf "$s" | wc -c)\0$s" | sha1sum

Resultado:

f2ba8f84ab5c1bce84a7b441cb1959cfc7093b7f
f2ba8f84ab5c1bce84a7b441cb1959cfc7093b7f  -

onde sha1sumestá no GNU Coreutils.

Então, tudo se resume a entender o formato de cada tipo de objeto. Já cobrimos o trivial blob, aqui estão os outros:

• commit: qual é o formato de arquivo de um objeto de commit do git?
• tree: Qual é o formato interno de um objeto de árvore git?
• tag: Como é criado um objeto de tag Git SHA1?

Com base na resposta de Leif Gruenwoldt , aqui está um substituto da função shell para git hash-object:

git-hash-object () { # substitute when the `git` command is not available
    local type=blob
    [ "$1" = "-t" ] && shift && type=$1 && shift
    # depending on eol/autocrlf settings, you may want to substitute CRLFs by LFs
    # by using `perl -pe 's/\r$//g'` instead of `cat` in the next 2 commands
    local size=$(cat $1 | wc -c | sed 's/ .*$//')
    ( echo -en "$type $size\0"; cat "$1" ) | sha1sum | sed 's/ .*$//'
}

Teste:

$ echo 'Hello, World!' > test.txt
$ git hash-object test.txt
8ab686eafeb1f44702738c8b0f24f2567c36da6d
$ git-hash-object test.txt
8ab686eafeb1f44702738c8b0f24f2567c36da6d

Eu precisava disso para alguns testes de unidade no Python 3, então pensei em deixá-lo aqui.

def git_blob_hash(data):
    if isinstance(data, str):
        data = data.encode()
    data = b'blob ' + str(len(data)).encode() + b'\0' + data
    h = hashlib.sha1()
    h.update(data)
    return h.hexdigest()

Eu mantenho \nfinais de linha em todos os lugares, mas em algumas circunstâncias o Git também pode estar alterando seus finais de linha antes de calcular esse hash, para que você possa precisar de um .replace('\r\n', '\n')também.