Contando recursivamente arquivos em um diretório Linux

Como posso contar recursivamente arquivos em um diretório Linux?

Eu achei isto:

find DIR_NAME -type f ¦ wc -l

Mas quando executo isso, ele retorna o seguinte erro.

find: os caminhos devem preceder a expressão: ¦

Isso deve funcionar:

find DIR_NAME -type f | wc -l

Explicação:

• -type f para incluir apenas arquivos.
• |( e não¦ ) redireciona finda saída padrão do wccomando para a entrada padrão do comando.
• wc(abreviação de contagem de palavras) conta novas linhas, palavras e bytes em sua entrada ( documentos ).
• -l para contar apenas novas linhas.

Notas:

• Substitua DIR_NAMEpor .para executar o comando na pasta atual.
• Você também pode remover os -type fdiretórios para incluir (e links simbólicos) na contagem.
• É possível que esse comando conte em excesso se os nomes de arquivos puderem conter caracteres de nova linha.

Explicação do motivo pelo qual seu exemplo não funciona:

No comando que você mostrou, você não usa o "Pipe" ( |) para conectar dois comandos, mas a barra quebrada ( ¦) que o shell não reconhece como um comando ou algo semelhante. É por isso que você recebe essa mensagem de erro.

Para o diretório atual:

find -type f | wc -l

Se você deseja obter uma análise detalhada de quantos arquivos existem em cada diretório abaixo do diretório atual:

for i in */ .*/ ; do 
    echo -n $i": " ; 
    (find "$i" -type f | wc -l) ; 
done

Isso pode ir tudo em uma linha, é claro. Os parênteses esclarecem a saída de quem wc -ldeveria estar assistindo ( find $i -type fneste caso).

Você pode usar

$ tree

depois de instalar o pacote em árvore com

$ sudo apt-get install tree

(em uma máquina Debian / Mint / Ubuntu Linux).

O comando mostra não apenas a contagem dos arquivos, mas também a contagem dos diretórios, separadamente. A opção -L pode ser usada para especificar o nível máximo de exibição (que, por padrão, é a profundidade máxima da árvore de diretórios).

Arquivos ocultos também podem ser incluídos, fornecendo a -aopção

No meu computador, rsyncé um pouco mais rápido do que find | wc -lna resposta aceita:

$ rsync --stats --dry-run -ax /path/to/dir /tmp

Number of files: 173076
Number of files transferred: 150481
Total file size: 8414946241 bytes
Total transferred file size: 8414932602 bytes

A segunda linha tem o número de arquivos, 150.481 no exemplo acima. Como bônus, você também obtém o tamanho total (em bytes).

Observações:

• a primeira linha é uma contagem de arquivos, diretórios, links simbólicos etc. todos juntos, por isso é maior que a segunda linha.
• a opção --dry-run(ou -nabreviada) é importante para não transferir os arquivos!
• Usei a -xopção para "não cruzar os limites do sistema de arquivos", o que significa que se você executá-lo /e tiver discos rígidos externos conectados, ele contará apenas os arquivos na partição raiz.

Como os nomes de arquivos no UNIX podem conter novas linhas (sim, novas linhas), wc -lpodem contar muitos arquivos. Eu imprimiria um ponto para cada arquivo e depois contaria os pontos:

find DIR_NAME -type f -printf "." | wc -c

Combinando várias das respostas aqui juntas, a solução mais útil parece ser:

find . -maxdepth 1 -type d -print0 |
xargs -0 -I {} sh -c 'echo -e $(find "{}" -printf "\n" | wc -l) "{}"' |
sort -n

Ele pode lidar com coisas estranhas, como nomes de arquivos que incluem parênteses de espaços e até novas linhas. Também classifica a saída pelo número de arquivos.

Você pode aumentar o número depois -maxdepthpara obter os subdiretórios também. Lembre-se de que isso pode levar muito tempo, principalmente se você tiver uma estrutura de diretórios altamente aninhada em combinação com um -maxdepthnúmero alto .

Se você deseja saber quantos arquivos e subdiretórios existem no diretório de trabalho atual, você pode usar este recurso de uma linha

find . -maxdepth 1 -type d -print0 | xargs -0 -I {} sh -c 'echo -e $(find {} | wc -l) {}' | sort -n

Isso funcionará no sabor GNU e apenas omitirá o comando -e do comando echo para o BSD linux (por exemplo, OSX).

Se você deseja evitar casos de erro, não permita wc -lver arquivos com novas linhas (que contarão com mais de 2 arquivos)

por exemplo, considere um caso em que tenhamos um único arquivo com um único caractere EOL

> mkdir emptydir && cd emptydir
> touch $'file with EOL(\n) character in it'
> find -type f
./file with EOL(?) character in it
> find -type f | wc -l
2

Como pelo menos o gnu wcparece não ter a opção de ler / contar uma lista terminada nula (exceto de um arquivo), a solução mais fácil seria não passar os nomes dos arquivos, mas uma saída estática sempre que um arquivo for encontrado, por exemplo no mesmo diretório acima

> find -type f -exec printf '\n' \; | wc -l
1

Ou se o seu findsuportar

> find -type f -printf '\n' | wc -l
1 

Você pode usar o comando ncdu. Contará recursivamente quantos arquivos um diretório Linux contém. Aqui está um exemplo de saída:

Possui uma barra de progresso, o que é conveniente se você tiver muitos arquivos:

Para instalá-lo no Ubuntu:

sudo apt-get install -y ncdu

Referência: usei https://archive.org/details/cv_corpus_v1.tar (380390 arquivos, 11 GB) como a pasta em que é preciso contar o número de arquivos.

• find . -type f | wc -l: cerca de 1m20s para concluir
• ncdu: cerca de 1m20s para concluir

tree $DIR_PATH | tail -1

Saída de amostra:

5309 diretórios, 2122 arquivos

Para determinar quantos arquivos existem no diretório atual, insira ls -1 | wc -l. Isso costuma wcfazer uma contagem do número de linhas (-l)na saída de ls -1. Não conta dotfiles. Observe que ls -l(que é um "L" em vez de um "1", como nos exemplos anteriores), que eu usei nas versões anteriores deste HOWTO, fornecerá uma contagem de arquivos maior que a contagem real. Obrigado a Kam Nejad por esse ponto.

Se você deseja contar apenas arquivos e NÃO incluir links simbólicos (apenas um exemplo do que mais você poderia fazer), use-o ls -l | grep -v ^l | wc -l(desta vez, é um "L" e não um "1", queremos uma lista "longa" aqui) . grepverifica qualquer linha que comece com "l" (indicando um link) e descarta essa linha (-v).

Velocidade relativa: "ls -1 / usr / bin / | wc -l" leva cerca de 1,03 segundos em um 486SX25 descarregado (/ usr / bin / nesta máquina possui 355 arquivos). " ls -l /usr/bin/ | grep -v ^l | wc -l" leva cerca de 1,19 segundos.

Fonte: http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/x700.html

Se você precisar contar recursivamente um tipo de arquivo específico , poderá:

find YOUR_PATH -name '*.html' -type f | wc -l 

-l é apenas para exibir o número de linhas na saída.

Com bash:

Crie uma matriz de entradas com () e obtenha a contagem com #.

FILES=(./*); echo ${#FILES[@]}

Ok, isso não conta recursivamente os arquivos, mas eu queria mostrar a opção simples primeiro. Um caso de uso comum pode ser para criar backups de substituição de um arquivo. Isso criará logfile.1, logfile.2, logfile.3 etc.

CNT=(./logfile*); mv logfile logfile.${#CNT[@]}

Contagem recursiva com o bash 4+ globstarativado (como mencionado por @tripleee)

FILES=(**/*); echo ${#FILES[@]}

Para obter a contagem de arquivos recursivamente, ainda podemos usar o find da mesma maneira.

FILES=(`find . -type f`); echo ${#FILES[@]}

Para diretórios com espaços no nome ... (com base nas várias respostas acima) - imprima recursivamente o nome do diretório com o número de arquivos dentro de:

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done

Exemplo (formatado para facilitar a leitura):

pwd
  /mnt/Vancouver/Programming/scripts/claws/corpus

ls -l
  total 8
  drwxr-xr-x 2 victoria victoria 4096 Mar 28 15:02 'Catabolism - Autophagy; Phagosomes; Mitophagy'
  drwxr-xr-x 3 victoria victoria 4096 Mar 29 16:04 'Catabolism - Lysosomes'

ls 'Catabolism - Autophagy; Phagosomes; Mitophagy'/ | wc -l
  138

## 2 dir (one with 28 files; other with 1 file):
ls 'Catabolism - Lysosomes'/ | wc -l
  29

A estrutura de diretórios é melhor visualizada usando tree:

tree -L 3 -F .
  .
  ├── Catabolism - Autophagy; Phagosomes; Mitophagy/
  │   ├── 1
  │   ├── 10
  │   ├── [ ... SNIP! (138 files, total) ... ]
  │   ├── 98
  │   └── 99
  └── Catabolism - Lysosomes/
      ├── 1
      ├── 10
      ├── [ ... SNIP! (28 files, total) ... ]
      ├── 8
      ├── 9
      └── aaa/
          └── bbb

  3 directories, 167 files

man find | grep mindep
  -mindepth levels
    Do not apply any tests or actions at levels less than levels
    (a non-negative integer).  -mindepth 1 means process all files
    except the starting-points.

ls -p | grep -v /(usado abaixo) é da resposta 2 em /unix/48492/list-only-regular-files-but-not-directories-in-current-directory

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done
./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
./Catabolism - Lysosomes: 28
./Catabolism - Lysosomes/aaa: 1

Applcation: Quero encontrar o número máximo de arquivos entre várias centenas de diretórios (toda a profundidade = 1) [saída abaixo novamente formatada para facilitar a leitura]:

date; pwd
    Fri Mar 29 20:08:08 PDT 2019
    /home/victoria/Mail/2_RESEARCH - NEWS

time find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done > ../../aaa
    0:00.03

[victoria@victoria 2_RESEARCH - NEWS]$ head -n5 ../../aaa
    ./RNA - Exosomes: 26
    ./Cellular Signaling - Receptors: 213
    ./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
    ./Stress - Physiological, Cellular - General: 261
    ./Ancient DNA; Ancient Protein: 34

[victoria@victoria 2_RESEARCH - NEWS]$ sed -r 's/(^.*): ([0-9]{1,8}$)/\2: \1/g' ../../aaa | sort -V | (head; echo ''; tail)

    0: ./Genomics - Gene Drive
    1: ./Causality; Causal Relationships
    1: ./Cloning
    1: ./GenMAPP 2
    1: ./Pathway Interaction Database
    1: ./Wasps
    2: ./Cellular Signaling - Ras-MAPK Pathway
    2: ./Cell Death - Ferroptosis
    2: ./Diet - Apples
    2: ./Environment - Waste Management

    988: ./Genomics - PPM (Personalized & Precision Medicine)
    1113: ./Microbes - Pathogens, Parasites
    1418: ./Health - Female
    1420: ./Immunity, Inflammation - General
    1522: ./Science, Research - Miscellaneous
    1797: ./Genomics
    1910: ./Neuroscience, Neurobiology
    2740: ./Genomics - Functional
    3943: ./Cancer
    4375: ./Health - Disease 

sort -Vé um tipo natural. ... Então, meu número máximo de arquivos em qualquer um desses diretórios (Claws Mail) é 4375 arquivos. Se eu deixei o teclado esquerdo ( https://stackoverflow.com/a/55409116/1904943 ) esses nomes de arquivos - todos são nomeados numericamente, começando com 1, em cada diretório - e preencho até 5 dígitos no total, eu deveria estar bem .

Termo aditivo

Encontre o número total de arquivos, subdiretórios em um diretório.

$ date; pwd
Tue 14 May 2019 04:08:31 PM PDT
/home/victoria/Mail/2_RESEARCH - NEWS

$ ls | head; echo; ls | tail
Acoustics
Ageing
Ageing - Calorie (Dietary) Restriction
Ageing - Senescence
Agriculture, Aquaculture, Fisheries
Ancient DNA; Ancient Protein
Anthropology, Archaeology
Ants
Archaeology
ARO-Relevant Literature, News

Transcriptome - CAGE
Transcriptome - FISSEQ
Transcriptome - RNA-seq
Translational Science, Medicine
Transposons
USACEHR-Relevant Literature
Vaccines
Vision, Eyes, Sight
Wasps
Women in Science, Medicine

$ find . -type f | wc -l
70214    ## files

$ find . -type d | wc -l
417      ## subdirectories

Eu escrevi ffcnt para acelerar a contagem recursiva de arquivos sob circunstâncias específicas: discos rotacionais e sistemas de arquivos que suportam o mapeamento de extensão.

Pode ser uma ordem de magnitude mais rápida do que lsou com findbase em abordagens, mas YMMV.

Há muitas respostas corretas aqui. Aqui está outro!

find . -type f | sort | uniq -w 10 -c

onde .está a pasta para procurar e 10é o número de caracteres pelos quais agrupar o diretório.

encontre o tipo f | wc -l

OU (se o diretório for o diretório atual)

encontrar . tipo f | wc -l

Isso funcionará completamente bem. Curto simples. Se você deseja contar o número de arquivos presentes em uma pasta.

ls | wc -l

Essa abordagem alternativa com a filtragem de formato conta todos os módulos disponíveis do grub kernel:

ls -l /boot/grub/*.mod | wc -l

ls -l | grep -e -x -e -dr | wc -l 

1. Lista longa
2. filtrar arquivos e diretórios
3. conte a linha filtrada não