Como excluir linhas duplicadas em um arquivo sem classificá-lo no Unix?

Existe uma maneira de excluir linhas duplicadas em um arquivo no Unix?

Eu posso fazer isso com sort -ue uniqcomandos, mas quero usar sedou awk. Isso é possível?

awk '!seen[$0]++' file.txt

seené uma matriz associativa para a qual o Awk passará todas as linhas do arquivo. Se uma linha não estiver na matriz, ela seen[$0]será avaliada como falsa. O !operador NOT é lógico e inverte o falso para verdadeiro. O Awk imprimirá as linhas em que a expressão é avaliada como verdadeira. Os ++incrementos seenpara que, seen[$0] == 1após a primeira vez que uma linha seja encontrada seen[$0] == 2, e assim por diante.
O Awk avalia tudo menos 0e ""(string vazia) como true. Se uma linha duplicada for inserida, seenela !seen[$0]será avaliada como falsa e a linha não será gravada na saída.

Em http://sed.sourceforge.net/sed1line.txt : (Por favor, não me pergunte como isso funciona ;-))

 # delete duplicate, consecutive lines from a file (emulates "uniq").
 # First line in a set of duplicate lines is kept, rest are deleted.
 sed '$!N; /^\(.*\)\n\1$/!P; D'

 # delete duplicate, nonconsecutive lines from a file. Beware not to
 # overflow the buffer size of the hold space, or else use GNU sed.
 sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

One-liner Perl semelhante à solução awk de @ jonas:

perl -ne 'print if ! $x{$_}++' file

Essa variação remove o espaço em branco à direita antes de comparar:

perl -lne 's/\s*$//; print if ! $x{$_}++' file

Essa variação edita o arquivo no local:

perl -i -ne 'print if ! $x{$_}++' file

Essa variação edita o arquivo no local e faz um backup file.bak

perl -i.bak -ne 'print if ! $x{$_}++' file

A linha única que Andre Miller postou acima funciona, exceto nas versões recentes do sed quando o arquivo de entrada termina com uma linha em branco e sem caracteres. No meu Mac, minha CPU gira.

Loop infinito se a última linha estiver em branco e não tiver caracteres :

sed '$!N; /^\(.*\)\n\1$/!P; D'

Não trava, mas você perde a última linha

sed '$d;N; /^\(.*\)\n\1$/!P; D'

A explicação está no final da FAQ sed :

O mantenedor do GNU sed considerou que, apesar dos problemas de portabilidade que
isso causaria, alterar o comando N para imprimir (em vez de
excluir) o espaço do padrão era mais consistente com as intuições de alguém
sobre como deveria se comportar um comando para "acrescentar a próxima linha" .
Outro fato favorável à mudança foi que "{N; command;}"
excluirá a última linha se o arquivo tiver um número ímpar de linhas, mas
imprimirá a última linha se o arquivo tiver um número par de linhas.

Para converter scripts que usavam o antigo comportamento de N (excluindo
o espaço do padrão ao atingir o EOF) em scripts compatíveis com
todas as versões do sed, altere um "N" isolado; para "$ d; N;" .

Uma maneira alternativa de usar o Vim (compatível com Vi) :

Exclua linhas duplicadas e consecutivas de um arquivo:

vim -esu NONE +'g/\v^(.*)\n\1$/d' +wq

Exclua linhas duplicadas, não consecutivas e não vazias de um arquivo:

vim -esu NONE +'g/\v^(.+)$\_.{-}^\1$/d' +wq

A primeira solução também é de http://sed.sourceforge.net/sed1line.txt

$ echo -e '1\n2\n2\n3\n3\n3\n4\n4\n4\n4\n5' |sed -nr '$!N;/^(.*)\n\1$/!P;D'
1
2
3
4
5

a ideia central é:

print ONLY once of each duplicate consecutive lines at its LAST appearance and use D command to implement LOOP.

Explica:

1. $!N;: se a linha atual NÃO for a última, use N comando para ler a próxima linha pattern space.
2. /^(.*)\n\1$/!P: se o conteúdo da corrente pattern spaceé dois duplicate stringseparados por \n, o que significa que a próxima linha é a samelinha com corrente, NÃO podemos imprimi-lo de acordo com nossa idéia principal; caso contrário, o que significa que a linha atual é a ÚLTIMA aparência de todas as suas linhas consecutivas duplicadas, agora podemos usar o Pcomando para imprimir os caracteres no pattern spaceutilitário atual \n(\n também impresso).
3. D: usamos o Dcomando para excluir os caracteres no pattern spaceutilitário atual \n(\n também excluído), e o conteúdo de pattern spaceé a próxima linha.
4. e Dcomando forçará seda pular para seu FIRSTcomando$!N , mas NÃO lê a próxima linha do arquivo ou fluxo de entrada padrão.

A segunda solução é fácil de entender (por mim):

$ echo -e '1\n2\n2\n3\n3\n3\n4\n4\n4\n4\n5' |sed -nr 'p;:loop;$!N;s/^(.*)\n\1$/\1/;tloop;D'
1
2
3
4
5

a ideia central é:

print ONLY once of each duplicate consecutive lines at its FIRST appearance and use : command & t command to implement LOOP.

Explica:

1. leia uma nova linha do fluxo ou arquivo de entrada e imprima-a uma vez.
2. use o :loopcomando set a labelnamed loop.
3. use Npara ler a próxima linha no pattern space.
4. use s/^(.*)\n\1$/\1/para excluir a linha atual se a próxima linha for a mesma da linha atual, usamos o scomando para deleteexecutar a ação.
5. se o scomando for executado com sucesso, use a tloopforça de comando sedpara pular para o labelnomeado loop, que fará o mesmo loop para as próximas linhas util; não há linhas consecutivas duplicadas da linha que é latest printed; caso contrário, use o Dcomando para deletea linha que é a mesma com o latest-printed linee force sedpara pular para o primeiro comando, que é o pcomando, o conteúdo de current pattern spaceé a próxima nova linha.

Isso pode ser alcançado usando awk. A
linha abaixo exibirá valores exclusivos

awk file_name | uniq

Você pode gerar esses valores exclusivos para um novo arquivo

awk file_name | uniq > uniq_file_name

o novo arquivo uniq_file_name conterá apenas valores exclusivos, sem duplicatas

cat filename | sort | uniq -c | awk -F" " '$1<2 {print $2}'

Exclui as linhas duplicadas usando o awk.