Como o uniq não é único o suficiente para que também exista uniq --unique?

Aqui estão os comandos em um arquivo aleatório do pastebin :

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

As páginas de manual não são claras sobre o que a -ubandeira está fazendo. Algum conselho?

Versão curta:

• uniq, sem -u, torna cada linha da saída única.
• uniq -uapenas imprime todas as linhas exclusivas da entrada .

Versão ligeiramente mais longa:

uniqé para lidar com arquivos que tenham linhas duplicadas e somente quando essas linhas aparecerem sucessivamente na entrada. Portanto, para seus propósitos, uma linha exclusiva é aquela que não é duplicada imediatamente.

( uniqpossui uma memória de curto prazo muito limitada; nunca se lembrará se uma linha apareceu anteriormente na entrada, a menos que fosse a linha imediatamente anterior - é por isso que uniqmuitas vezes é emparelhada sort.)

Quando encontra uma sequência de linhas duplicadas uniq, sem o -uargumento, imprime uma cópia dessa linha. (Torna cada linha da saída única ).

Com o -uargumento, ele imprime zero cópias dessa linha - execuções de duplicatas são apenas omitidas na saída.

uniqcom -usaltos quaisquer linhas que têm duplicados. Portanto:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

Normalmente, uniqimprime linhas no máximo uma vez (assumindo entrada classificada). Esta opção realmente imprime linhas verdadeiramente únicas (não tendo aparecido novamente).

A especificação uniq POSIX descreveu claramente:

-u
    Suppress the writing of lines that are repeated in the input.

-uopção faça uniqpara não imprimir linhas repetidas.

A maioria das uniqimplementações usava comparação de bytes, enquanto o GNU uniqusava ordem de agrupamento para filtrar linhas duplicadas. Portanto, ele pode produzir resultados errados em algumas localidades, por exemplo, na en_US.UTF-8localidade:

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

e não -udeu linhas:

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

Portanto, você deve definir o código do idioma Cpara obter uma comparação de bytes:

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

normal:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq: não há duas linhas de repetição subsequentes

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

ordenado

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u: não há duas linhas repetidas

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

sort / uniq: todos distintos

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

conta ocorrências distintas

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

somente linhas que não são repetidas (não classificadas primeiro)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

apenas linhas que não são repetidas (após a classificação)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d: imprime apenas linhas duplicadas, uma para cada grupo

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. contado

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c