Imprimir linhas exclusivas

15

Existe alguma solução melhor para imprimir linhas exclusivas que não sejam uma combinação de sorte uniq?

command-line text-processing

— Deixe me ser
fonte

1

O que você quer dizer com "melhor"?

— Gabe.

@ gabe Não é necessário que o arquivo inteiro seja armazenado na memória, por exemplo.

— 23811 Let'Me_Be

Algumas versões sort(por exemplo: GNU coreutils) usam arquivos temporários e fusesort externo se a entrada for grande demais para caber na RAM. E a maioria das outras versões tem uma -mopção, para que isso possa ser feito explicitamente dividindo a entrada (por exemplo, com split), classificando cada bloco e depois mesclando os blocos

— jhnc 23/01

25

Para imprimir cada linha idêntica apenas uma, em qualquer ordem:

sort -u

Para imprimir apenas as linhas exclusivas, em qualquer ordem:

sort | uniq -u

Para imprimir cada linha idêntica apenas uma vez, na ordem da primeira ocorrência: (para cada linha, imprima a linha se ainda não tiver sido vista e, em qualquer caso, aumente o contador visto)

awk '!seen[$0] {print}
     {++seen[$0]}'

Para imprimir apenas as linhas exclusivas, na ordem da primeira ocorrência: (registre cada linha seene também linesse for a primeira ocorrência; no final da entrada, imprima as linhas na ordem de ocorrência, mas apenas as que são vistas apenas uma vez)

awk '!seen[$0]++ {lines[i++]=$0}
     END {for (i in lines) if (seen[lines[i]]==1) print lines[i]}'

— Gilles 'SO- parar de ser mau'
fonte

8

que tal awk '!seen[$0]++ {print}'?

— asoundmove

10

Ou ainda mais curto awk '!seen[$0]++', pois o {print}é implícito por um comando vazio.

— quazgar

3

Algumas (a maioria?) Versões de sortpossuem uma -ubandeira que faz a uniqparte diretamente. Pode haver algumas restrições de comprimento de linha, dependendo da implementação, mas você já as possui com o plain sort|uniq.

— Esteira
fonte

1

Er? sort -uvolta ao V7 pelo menos.

— Geekosaur #

Hum ... pensei que me lembrava de Solaris ou AIX não ter isso. Estou errado, porém, ambos têm.

— Mat

O Solaris e o AIX têm, -umas também têm, uma restrição de comprimento de linha de 512 caracteres. (Na verdade, eu acho que algo em torno de Solaris 9 Sun elevou-o para 5120. GNU ainda ganha, no entanto.)

— geekosaur

@geekosaur: você tem certeza? O trabalho realizado para remover o limite de 512 bytes no comprimento da linha em classificação foi documentado em 'Teoria e Prática na Construção de uma Rotina de Classificação de Trabalho' por JP Linderman, Técnico da Bell System. Journal, 63, 1827-1843 (1984).

— precisa

0

Perl funciona para você? Ele pode manter as linhas na ordem original, mesmo que as duplicatas não sejam adjacentes. Você também pode codificá-lo em Python, ou awk.

while (<>) {
    print if $lines{$_}++ == 0;
}

Que pode ser reduzido para apenas

perl -ne 'print unless $lines{$_}++;'

Arquivo de entrada fornecido:

abc
def
abc
ghi
abc
def
abc
ghi
jkl

Rende a saída:

abc
def
ghi
jkl

— Jonathan Leffler
fonte

Onde $ linhas estão sendo definidas?

— Gregg Leventhal

Não é. Como não existe um use strict;ou use warnings;(na verdade, stricté o mais relevante aqui), não há reclamação sobre o uso %linesantes de ser definido. Se executado com restrições, seria necessário haver uma linha my %lines;antes do loop. Observe também que o hash é %lines; um elemento do hash é referenciado usando a $lines{$_}notação

— 27616 Jonathan Leffler

Eu acho que as sortsoluções podem ser melhores para grande quantidade de dados (o OP estava preocupado em "armazenar o arquivo inteiro na memória"). sortexecutará uma classificação fora do núcleo se os dados forem maiores que a memória disponível.

— Kusalananda

0

Para a última parte da resposta mencionada em: Imprimir linhas exclusivas do @Gilles como resposta a esta pergunta, tentei eliminar a necessidade de usar dois hashes.

Esta solução é para: Imprimir apenas as linhas exclusivas, na ordem da primeira ocorrência:

awk '{counter[$0]++} END {for (line in counter) if (counter[line]==1) print line}'

Aqui, "counter" armazena uma contagem de cada linha semelhante à processada anteriormente.
No final, imprimimos apenas as linhas que têm valor de contador como 1.

— Sarfraaz Ahmed
fonte