Classificar e contar o número de ocorrências de linhas

145

Eu tenho o Apachearquivo de log, access.logcomo contar o número de ocorrências de linha nesse arquivo? por exemplo, o resultado de cut -f 7 -d ' ' | cut -d '?' -f 1 | tr '[:upper:]' '[:lower:]'é

a.php
b.php
a.php
c.php
d.php
b.php
a.php

o resultado que eu quero é:

3 a.php
2 b.php
1 d.php # order doesn't matter
1 c.php

command-line sort

— Kokizzu
fonte

| sort | uniq -c

— Costas

| LC_ALL=C sort | LC_ALL=C uniq -c

— Stéphane Chazelas

ah eu nunca sei que uniqpoderia fazer isso ..

— Kokizzu

Você tem um exemplo da linha no log, pois acho que tudo isso poderia ser feito com o awk sem todos os pipes.

está tudo bem, o arquivo de log de 8,1 GB é processado em cerca de 2 minutos e está pronto por enquanto, não precisa mais disso: 3

— Kokizzu

Respostas:

196

| sort | uniq -c

Como indicado nos comentários.

A inserção da saída sortorganiza a saída em ordem alfabética / numérica.

Este é um requisito, porque uniqcorresponde apenas a linhas repetidas, ou seja,

a
b
a

Se você usar uniqesse arquivo de texto, ele retornará o seguinte:

a
b
a

Isso ocorre porque os dois as são separados pelo b- eles não são linhas consecutivas. No entanto, se você primeiro classificar os dados em ordem alfabética, como

a
a
b

Em seguida uniq, removerá as linhas repetidas. A -copção de uniqconta o número de duplicatas e fornece saída no formato:

2 a
1 b

Referências:

— visudo
fonte

Bem-vindo ao Unix e Linux :) Não hesite em adicionar mais detalhes a sua resposta e explicar por que e como isso funciona;)

— John WH Smith

printf '%s\n' ①.php ②.php | sort | uniq -cdá-me2 ①.php

— Stéphane Chazelas

@ StéphaneChazelas Isso porque os printf imprimephp\nphp

@ Jidder, não, é porque ①.phpclassifica o mesmo que ②.phpna minha localidade, porque nenhuma ordem de classificação é definida para aqueles ①e ②caracteres na minha localidade. Se você quiser únicos valores para quaisquer valores de byte (lembre-se caminhos de arquivo não são necessariamente texto), então você precisa para corrigir o local para C: | LC_ALL=C sort | LC_ALL=C uniq -c.

— Stéphane Chazelas

Para que o arquivo de contagem resultante seja classificado, considere adicionar o "sort -nr" como as respostas @ eduard-florinescu abaixo.

— Lluís Suñol

104

[your command] | sort | uniq -c | sort -nr

A resposta aceita está quase completa. Você pode adicionar um extra sort -nrno final para classificar os resultados com as linhas que ocorrem com mais frequência primeiro

opções uniq :

-c, --count
       prefix lines by the number of occurrences

opções de classificação :

-n, --numeric-sort
       compare according to string numerical value
-r, --reverse
       reverse the result of comparisons

No caso específico em que as linhas que você está classificando são números, você precisa usar em sort -grvez de sort -nr, ver o comentário

— Eduard Florinescu
fonte

Muito obrigado por me informar sobre a -nopção.

— Sigur

Grande resposta, aqui está o que eu uso para obter um wordcount fora do arquivo com frases: tr ' ' '\n' < $FILE | sort | uniq -c | sort -nr > wordcount.txt. O primeiro comando substitui espaços por novas linhas, permitindo que o restante do comando funcione conforme o esperado.

— Bar

Usando as opções acima, obtenho "1" antes de "23344". O uso sort -grresolve isso. -g: compare de acordo com o valor numérico geral (em vez de -n: compare de acordo com o valor numérico da string).

— Peter Jaric 14/02

@PeterJaric Ótima captura e muito útil para se conhecer, -grmas acho que a saída de uniq -cserá como tal que sort -nrfuncionará conforme o

— esperado

— Peter Jaric 15/02

Você pode usar uma matriz associativa em awk e depois -optionally- tipo :

cat access.log  | awk ' { tot[$0]++ } END { for (i in tot) print tot[i],i } ' | sort

resultado:

1 c.php
1 d.php
2 b.php
3 a.php

— Laurence R. Ugalde
fonte

Como você contaria o número de ocorrências enquanto o canal está enviando dados?

— User123456