Verifique se todas as linhas de um arquivo são únicas

Eu tenho um arquivo de texto contendo linhas como esta:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Como posso ter certeza da singularidade de cada linha?

NOTA: O objetivo é testar o arquivo, não modificá-lo se houver linhas duplicadas.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Solução Awk:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Usando sort/ uniq:

sort input.txt | uniq

Para verificar apenas linhas duplicadas, use a -dopção uniq. Isso mostrará apenas as linhas duplicadas; caso contrário, não mostrará nada:

sort input.txt | uniq -d

TLDR

A pergunta original não era clara e lia-se que o OP simplesmente desejava uma versão exclusiva do conteúdo de um arquivo. Isso é mostrado abaixo. Na forma atualizada da pergunta, o OP agora está declarando que ele / ela simplesmente deseja saber se o conteúdo do arquivo é único ou não.

Teste se o conteúdo do arquivo é único ou não

Você pode simplesmente usar sortpara verificar se um arquivo é exclusivo ou contém duplicatas como:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Exemplo

Digamos que eu tenho esses dois arquivos:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Agora, quando analisamos esses arquivos, podemos dizer se eles são únicos ou contêm duplicatas:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Pergunta original (conteúdo exclusivo do arquivo)

Pode ser feito com apenas sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Eu costumo sortusar o arquivo, depois uso uniqpara contar o número de duplicatas e, depois, sortvejo as duplicatas no final da lista.

Adicionei uma duplicata aos exemplos que você forneceu:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Como não li a página do manual por uniqum tempo, dei uma olhada rápida em qualquer alternativa. O seguinte elimina a necessidade do segundo tipo, se você deseja apenas ver duplicados:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Se não houver duplicatas, todas as linhas serão exclusivas:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Descrição: classifique as linhas do arquivo para tornar as linhas repetidas consecutivas (classificar)
Extraia todas as linhas consecutivas iguais (uniq -d).
Se houver alguma saída do comando acima ( [...]), ( &&) imprima uma mensagem.

Isso não seria completo sem uma resposta Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Isso imprimirá cada linha não exclusiva uma vez: portanto, se não imprimir nada, o arquivo terá todas as linhas exclusivas.

Usando cmpe sortem bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

ou

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Isso ordenaria o arquivo duas vezes, assim como a resposta aceita.