Computando uma soma de verificação de um arquivo enorme (30 GB)

Eu tenho um grande conjunto de dados composto por vários arquivos, com tamanho de alguns dos arquivos superiores a 30 GB. Após compactar, transferir os dados configurados pela rede e descompactar novamente, suspeito que algo deu errado (que um arquivo pode estar corrompido). Uma maneira rápida de confirmar isso seria calcular somas de verificação de ambas as cópias de um arquivo - mas há um limite de 2 GB no tamanho do arquivo da ferramenta MD5 no Windows PowerShell.

Existe uma alternativa para calcular uma soma de verificação de um arquivo cujo tamanho exceda 30 GB? (A ferramenta deve ser implementada para Linux e Windows.)

Você pode usar opensslpara isso. Está disponível para Windows e Linux.

Em um terminal Linux, use:

openssl md5 /path/to/your_file

Em uma linha de comando do Windows:

openssl.exe md5 C:\path\to\your_file