Contar todas as ocorrências de uma string em muitos arquivos com grep

Eu tenho um monte de arquivos de log. Preciso descobrir quantas vezes uma string ocorre em todos os arquivos.

grep -c string *

retorna

...
file1:1
file2:0
file3:0
...

Usando um pipe, consegui obter apenas arquivos com uma ou mais ocorrências:

grep -c string * | grep -v :0

...
file4:5
file5:1
file6:2
...

Como posso obter apenas a contagem combinada? (Se retornar file4:5, file5:1, file6:2, eu quero voltar 8.)

cat * | grep -c string

Isso funciona para várias ocorrências por linha:

grep -o string * | wc -l

grep -oh string * | wc -w

contará várias ocorrências em uma linha

Em vez de usar -c, basta canalizá-lo para wc -l.

grep string * | wc -l

Isso listará cada ocorrência em uma única linha e depois contará o número de linhas.

Porém, isso ocorrerá nos casos em que a sequência ocorrer mais de 2 vezes em uma linha.

cat * | grep -c string

Uma das raras aplicações úteis de cat.

Algo diferente de todas as respostas anteriores:

perl -lne '$count++ for m/<pattern>/g;END{print $count}' *

Você pode adicionar -Rà pesquisa recursivamente (e evitar o uso de cat) e -Iignorar arquivos binários.

grep -RIc string .

Solução AWK obrigatória:

grep -c string * | awk 'BEGIN{FS=":"}{x+=$2}END{print x}'

Tome cuidado se os nomes dos arquivos incluírem ":".

A solução AWK, que também lida com nomes de arquivos, incluindo dois pontos:

grep -c string * | sed -r 's/^.*://' | awk 'BEGIN{}{x+=$1}END{print x}'

Lembre-se de que esse método ainda não encontra várias ocorrências stringna mesma linha.

Se você deseja um número de ocorrências por arquivo (exemplo para a sequência "tcp"):

grep -RIci "tcp" . | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Exemplo de saída:

53  ./HTTPClient/src/HTTPClient.cpp
21  ./WiFi/src/WiFiSTA.cpp
19  ./WiFi/src/ETH.cpp
13  ./WiFi/src/WiFiAP.cpp
4   ./WiFi/src/WiFiClient.cpp
4   ./HTTPClient/src/HTTPClient.h
3   ./WiFi/src/WiFiGeneric.cpp
2   ./WiFi/examples/WiFiClientBasic/WiFiClientBasic.ino
2   ./WiFiClientSecure/src/ssl_client.cpp
1   ./WiFi/src/WiFiServer.cpp

Explicação:

• grep -RIci NEEDLE . - procura a string NEEDLE recursivamente no diretório atual (seguindo links simbólicos), ignorando binários, contando o número de ocorrências, ignorando maiúsculas e minúsculas
• awk ... - este comando ignora arquivos com zero ocorrências e formata linhas
• sort -hr - classifica as linhas na ordem inversa por números na primeira coluna

Obviamente, ele funciona com outros comandos grep com a opção -c(count) também. Por exemplo:

grep -c "tcp" *.txt | awk -v FS=":" -v OFS="\t" '$2>0 { print $2, $1 }' | sort -hr

Você pode usar um simples greppara capturar efetivamente o número de ocorrências. Usarei a -iopção para garantir que STRING/StrING/stringseja capturado corretamente.

Linha de comando que fornece o nome dos arquivos:

grep -oci string * | grep -v :0

Linha de comando que remove os nomes dos arquivos e imprime 0 se houver um arquivo sem ocorrências:

grep -ochi string *

variante recursiva curta :

find . -type f -exec cat {} + | grep -c 'string'

Solução somente para grep que testei com grep para windows:

grep -ro "pattern to find in files" "Directory to recursively search" | grep -c "pattern to find in files"

Esta solução contará todas as ocorrências, mesmo se houver várias em uma linha. -rpesquisa recursivamente no diretório, -o"mostra apenas a parte de uma linha que corresponde ao PADRÃO" - é isso que divide várias ocorrências em uma única linha e faz grep imprimir cada correspondência em uma nova linha; canalize esses resultados separados por nova linha de volta ao grep -cpara contar o número de ocorrências usando o mesmo padrão.

Aqui está uma maneira alternativa do AWK mais rápida que a grep, que lida com várias correspondências <url>por linha, em uma coleção de arquivos XML em um diretório:

awk '/<url>/{m=gsub("<url>","");total+=m}END{print total}' some_directory/*.xml

Isso funciona bem nos casos em que alguns arquivos XML não possuem quebras de linha.

Outro oneliner usando funções básicas de linha de comando, manipulando várias ocorrências por linha.

 cat * |sed s/string/\\\nstring\ /g |grep string |wc -l