pesquise, remova duplicatas e marge para um arquivo

0

Qual será a minha melhor maneira de pesquisar e remover duplicados de mais de 50 GB de arquivos de texto e mesclá-los em um? Eu acho que um aplicativo GUI irá travar, então eu preciso de um estilo CLI com suporte a threading ou uma maneira de usar o linux.

— Rachel Nark
fonte

Deseja que cada coleção de duplicatas seja mesclada ou quis dizer que deseja mesclar todos os arquivos de texto restantes em um arquivo no final deste procedimento?

— Iglvzx

Eu gostaria de mesclar todos os arquivos de texto em um sem duplicatas

— Rachel Nark

0

Aqui está uma postagem que pode ajudá-lo, mas em pequena escala você pode escrever seu próprio script para lidar com um grande número de arquivos. Esta postagem também pode ajudar a usar o comando de classificação

— mina.kolta
fonte

0

O Auslogics Duplicate File Finder é gratuito e não deve ter problemas com 50 GB de arquivos de texto. Certifique-se de fazer o download direto do site para evitar o downloader CNET e não aceitar a barra de ferramentas Auslogics. É bastante intuitivo e fácil de se livrar de duplicatas.

Para concatenar seus arquivos de texto no Windows, você pode tentar isso em uma janela do cmd como administrador:

copiar * .txt bigfile.txt

O que copiará todos os seus arquivos de texto em um grande arquivo. Não faço ideia se isso funcionará com o volume de arquivos que você possui.

— BJ292
fonte