Perguntas com a marcação «uniq»

Em todo lugar que vejo alguém precisando obter uma lista exclusiva e classificada, eles sempre acessam sort | uniq. Eu nunca vi nenhum exemplo em que alguém use sort -u. Por que não? Qual é a diferença e por que é melhor usar o uniq do que o sinalizador exclusivo …

120 bash  sort  uniq 

Eu realmente gosto de usar control+rpara pesquisar recursivamente meu histórico de comandos. Encontrei algumas boas opções que gosto de usar: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead of overwriting (good for …

61 bash  command-line  command-history  sort  uniq 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ O resultado que eu preciso é exibir todas as linhas do arquivo original, removendo todas as duplicatas (não apenas as consecutivas), …

40 text-processing  uniq 

Esse alinhamento remove linhas duplicadas da entrada de texto sem pré-classificação. Por exemplo: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ O código original que encontrei nas internets dizia: awk '!_[$0]++' Isso foi ainda mais desconcertante para mim, pois eu _tive …

40 shell-script  awk  scripting  sort  uniq 

Aqui estão os comandos em um arquivo aleatório do pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq …

35 uniq 

Existe uma maneira de encontrar todos os arquivos em um diretório com nomes de arquivos duplicados, independentemente da caixa (maiúscula e / ou minúscula)?

17 find  uniq  case-sensitivity  duplicate-files 

Encontrei esse caso de uso hoje. Parece simples à primeira vista, mas brincar com sort, uniq, sede awkrevelou que é trivial. Como posso excluir todos os pares de linhas duplicadas? Em outras palavras, se houver um número par de duplicatas de uma determinada linha, exclua todas elas; se houver um …

16 text-processing  sed  uniq 

Minha pergunta é semelhante a essa pergunta, mas com algumas restrições diferentes: Eu tenho uma grande lista de \npalavras delimitada - uma palavra por linha. O tamanho dos arquivos varia de 2 GB a 10 GB. Preciso remover todas as linhas duplicadas. O processo pode classificar a lista durante o …

16 linux  text-processing  uniq 

Eu tenho algum código antigo de 2003, que usa a -topção de uniqcomando. Ele gera um erro, já que essa opção provavelmente não é mais suportada. Aqui está a peça que usa o comando: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ …

15 uniq 

Eu tenho um arquivo grande no seguinte formato: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Se os valores na coluna 2 corresponderem, quero somar os …

11 text-processing  awk  sort  uniq 

Eu tenho um arquivo com uma coluna com nomes que se repetem várias vezes cada. Quero condensar cada repetição em uma, mantendo outras repetições com o mesmo nome que não sejam adjacentes a outras repetições com o mesmo nome. Por exemplo, eu quero virar o lado esquerdo para o lado …

11 awk  sed  sort  uniq 

O que está acontecendo no seguinte snippet de código? Não estou obtendo minha saída esperada. Eu acho que foi um bug, mas acontece em 2 programas diferentes (uniq e sort), então eu suspeito que isso tenha algo a ver com ... bem, eu não sei o que ... daí a …

10 text-processing  sort  locale  unicode  uniq 

Estou tentando um ingênuo: $ cat * | sort -u > /tmp/bla.txt que falha com: -bash: /bin/cat: Argument list too long Portanto, para evitar uma solução boba como (cria um enorme arquivo temporário): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u …

8 shell  sort  uniq 

Se eu tiver uma string "1 2 3 2 1" - ou uma matriz [1,2,3,2,1] - como posso selecionar os valores exclusivos, ou seja, "1 2 3 2 1" produces "1 2 3" ou [1,2,3,2,1] produces [1,2,3] Semelhante ao uniq, mas o uniq parece funcionar em linhas inteiras, não em …

8 string  array  uniq  patterns 

Eu tenho um arquivo de texto grande (1,5 G), Quero saber qual é a ferramenta mais rápida e confiável no Linux. Eu costumo usar: awk '!x[$0]++' file.txt Mas quando eu uso o htopcomando, vejo que meu uso de memória está aumentando. Quero saber qual é a mais rápida e confiável …

8 sed  awk  memory  sort  uniq