Como posso encontrar as linhas exclusivas e remover todas as duplicatas de um arquivo? Meu arquivo de entrada é

1
1
2
3
5
5
7
7

Eu gostaria que o resultado fosse:

2
3

sort file | uniqnão vai fazer o trabalho. Irá mostrar todos os valores 1 vez

uniq tem a opção de que você precisa:

   -u, --unique
          only print unique lines

$ cat file.txt
1
1
2
3
5
5
7
7
$ uniq -u file.txt
2
3

Use da seguinte maneira:

sort < filea | uniq > fileb

Você também pode imprimir o valor único em "arquivo" usando o catcomando direcionando para sorteuniq

cat file | sort | uniq -u

uniq -u tem me deixado louco porque não funcionou.

Então, em vez disso, se você tiver python (a maioria das distros e servidores Linux já o tem):

Supondo que você tenha o arquivo de dados em notUnique.txt

#Python
#Assuming file has data on different lines
#Otherwise fix split() accordingly.

uniqueData = []
fileData = open('notUnique.txt').read().split('\n')

for i in fileData:
  if i.strip()!='':
    uniqueData.append(i)

print uniqueData

###Another option (less keystrokes):
set(open('notUnique.txt').read().split('\n'))

Observe que, devido às linhas vazias, o conjunto final pode conter '' ou apenas strings de espaço. Você pode remover isso mais tarde. Ou simplesmente copie do terminal;)

Apenas para sua informação, da página de manual da uniq:

"Nota: 'uniq' não detecta linhas repetidas a menos que sejam adjacentes. Você pode querer classificar a entrada primeiro ou usar 'sort -u' sem 'uniq'. Além disso, as comparações respeitam as regras especificadas por 'LC_COLLATE'."

Uma das maneiras corretas de invocar com: # sort nonUnique.txt | uniq

Exemplo de execução:

$ cat x
3
1
2
2
2
3
1
3

$ uniq x
3
1
2
3
1
3

$ uniq -u x
3
1
3
1
3

$ sort x | uniq
1
2
3

Os espaços podem ser impressos, então esteja preparado!

Embora sortleve um tempo O (n log (n)), eu prefiro usar

awk '!seen[$0]++'

awk '!seen[$0]++'é uma abreviatura de awk '!seen[$0]++ {print}'print line (= $ 0) se seen[$0]não for zero. É preciso mais espaço, mas apenas tempo O (n).

você pode usar:

sort data.txt| uniq -u

este classifica os dados e filtra por valores únicos

uniq -u < file fará o trabalho.

uniq deve funcionar bem se o seu arquivo for / puder ser classificado, se você não puder classificar o arquivo por algum motivo, você pode usar awk :

awk '{a[$0]++}END{for(i in a)if(a[i]<2)print i}'

sort -d "file name" | uniq -u

isso funcionou para mim por um semelhante. Use isto se não estiver combinado. Você pode remover a classificação, se for organizado

Acho isso mais fácil.

sort -u input_filename > output_filename

-u significa único.

Foi a primeira vez que tentei

skilla:~# uniq -u all.sorted  

76679787
76679787 
76794979
76794979 
76869286
76869286 
......

Depois de fazer um gato-e tudo.

skilla:~# cat -e all.sorted 
$
76679787$
76679787 $
76701427$
76701427$
76794979$
76794979 $
76869286$
76869286 $

Cada segunda linha tem um espaço à direita :( Depois de remover todos os espaços à direita, funcionou!

obrigado