Como remover linhas duplicadas dentro de um arquivo de texto?

Um enorme arquivo de texto (com até 2 GiB) contém cerca de 100 duplicatas exatas de cada linha (inútil no meu caso, pois o arquivo é uma tabela de dados semelhante a CSV).

O que eu preciso é remover todas as repetições enquanto (de preferência, mas isso pode ser sacrificado por um aumento significativo no desempenho), mantendo a ordem da sequência original. No resultado, cada linha deve ser única. Se houvesse 100 linhas iguais (geralmente as duplicatas estão espalhadas pelo arquivo e não serão vizinhas), resta apenas uma do tipo.

Eu escrevi um programa no Scala (considere Java se você não conhece o Scala) para implementar isso. Mas talvez haja ferramentas nativas escritas em C mais rápidas, capazes de fazer isso mais rapidamente?

ATUALIZAÇÃO: a awk '!seen[$0]++' filenamesolução parecia estar funcionando bem para mim, desde que os arquivos estivessem perto de 2 GiB ou menores, mas agora como eu estou limpando um arquivo de 8 GiB, ele não funciona mais. Parece levar o infinito em um Mac com 4 GiB de RAM e um PC Windows 7 de 64 bits com 4 GiB de RAM e 6 GiB de swap fica sem memória. E não me sinto entusiasmado em experimentá-lo no Linux com 4 GiB de RAM, dada essa experiência.

Uma awksolução vista em #bash (Freenode):

awk '!seen[$0]++' filename

Existe um método simples (o que não é óbvio) usando utilitários padrão que não exigem sortmuita memória, exceto para serem executados , que na maioria das implementações possui otimizações específicas para arquivos grandes (um bom algoritmo de classificação externa). Uma vantagem desse método é que ele apenas percorre todas as linhas dentro de utilitários para fins especiais, nunca dentro de linguagens interpretadas.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Se todas as linhas começarem com um caractere que não seja um espaço em branco, você poderá dispensar algumas das opções:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Para uma grande quantidade de duplicação, um método que requer apenas o armazenamento de uma única cópia de cada linha na memória terá um desempenho melhor. Com alguma sobrecarga de interpretação, há um script awk muito conciso para isso (já publicado pelo enzotib ):

<input awk '!seen[$0]++'

Menos concisamente:, !seen[$0] {print} {seen[$0] += 1}ou seja, imprima a linha atual, se ainda não foi vista, e aumente o seencontador dessa linha (variáveis ​​não inicializadas ou elementos de matriz têm o valor numérico 0).

Para linhas longas, você pode economizar memória mantendo apenas uma soma de verificação não falsificada (por exemplo, um resumo criptográfico) de cada linha. Por exemplo, usando SHA-1, você só precisa de 20 bytes mais uma sobrecarga constante por linha. Mas a computação digesta é bastante lenta; esse método só vencerá se você tiver uma CPU rápida (especialmente uma com um acelerador de hardware para calcular os resumos) e não houver muita memória em relação ao tamanho do arquivo e linhas suficientemente longas. Nenhum utilitário básico permite calcular uma soma de verificação para cada linha; você teria que suportar a sobrecarga de interpretação do Perl / Python / Ruby /… ou escrever um programa compilado dedicado.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Observe que o arquivo de saída será classificado.

Supondo que você possa manter tanto quanto o arquivo desduplicado na memória (se seus dados forem realmente duplicados por um fator de 100, ou seja, cerca de 20MiB +), você poderá fazer isso muito facilmente com o Perl.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Isso preserva a ordem também.

Você pode extrair o número de ocorrências de cada linha do %duphash, se desejar, como um bônus grátis adicional.

Se você preferir awk, também deve fazê-lo (mesma lógica da versão perl, mesma ordem, mesmos dados reunidos na dupvariável):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Como nenhuma outra resposta forneceu suporte no local, aqui está uma:

gawk -i inplace '!a[$0]++' file

Você pode usar uniq http://www.computerhope.com/unix/uuniq.htm

uniq relata ou filtra linhas repetidas em um arquivo.

Forros do Python One:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Nenhuma das respostas aqui funcionou para mim no meu Mac, por isso escrevi um script python simples que funciona para mim. Estou ignorando os espaços em branco iniciais / finais e também não me importo com o consumo de memória.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Salve o acima em unique.py e execute assim:

python unique.py inputfile.txt outputfile.txt

Com o bash 4, pode ser usada uma solução pura do bash que aproveita as matrizes associativas . Aqui está um exemplo

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt