Excluindo bilhões de arquivos de um diretório e vendo o progresso também

Eu tenho um diretório de 30 TB com bilhões de arquivos, formalmente todos os arquivos JPEG. Estou excluindo cada pasta de arquivos como esta:

sudo rm -rf bolands-mills-mhcptz

Este comando é executado e não mostra nada, esteja funcionando ou não.

Eu quero ver como está excluindo arquivos ou qual é o status atual do comando.

Você pode usar rm -vpara ter rmimprimir uma linha por arquivo excluído. Dessa forma, você pode ver que rmrealmente está trabalhando para excluir arquivos. Mas se você tiver bilhões de arquivos, tudo o que verá é que rmainda está funcionando. Você não terá idéia de quantos arquivos já foram excluídos e quantos restam.

A ferramenta pvpode ajudá-lo com uma estimativa de progresso.

http://www.ivarch.com/programs/pv.shtml

Aqui está como você iria invocar rmcom pvcom o exemplo de saída

$ rm -rv dirname | pv -l -s 1000 > logfile
562  0:00:07 [79,8 /s] [====================>                 ] 56% ETA 0:00:05

Neste exemplo, eu disse pvque existem 1000arquivos. A saída de pvmostra que 562 já foram excluídos, o tempo decorrido é de 7 segundos e a estimativa a ser concluída é de 5 segundos.

Alguma explicação:

• pv -lfaz pvcontar por novas linhas em vez de bytes
• pv -s numberinforma pvqual é o total para que você possa fazer uma estimativa.
• O redirecionamento para logfileno final é para saída limpa. Caso contrário, a linha de status de pvserá confundida com a saída de rm -v. Bônus: você terá um arquivo de log do que foi excluído. Mas cuidado, o arquivo ficará enorme. Você também pode redirecionar para /dev/nullse não precisar de um log.

Para obter o número de arquivos, você pode usar este comando:

$ find dirname | wc -l

Isso também pode levar um longo tempo se houver bilhões de arquivos. Você pode usar pvaqui também para ver o quanto isso contou

$ find dirname | pv -l | wc -l
278k 0:00:04 [56,8k/s] [     <=>                                              ]
278044

Aqui diz que levou 4 segundos para contar 278k arquivos. A contagem exata no final ( 278044) é a saída de wc -l.

Se você não quiser esperar a contagem, poderá adivinhar o número de arquivos ou usar pvsem estimativa:

$ rm -rv dirname | pv -l > logfile

Assim, você não terá nenhuma estimativa para concluir, mas pelo menos verá quantos arquivos já foram excluídos. Redirecione para /dev/nullse você não precisar do arquivo de log.

Nitpick:

• você realmente precisa sudo?
• geralmente rm -ré suficiente para excluir recursivamente. não precisa rm -f.

Confira a resposta da lesmana , é muito melhor que a minha - especialmente o último pvexemplo, que não levará muito mais tempo que o silencioso original, rmse você especificar em /dev/nullvez de logfile.

Supondo que seu rmsuporte seja a opção (provavelmente funciona desde que você esteja executando o Linux), você pode executá-lo no modo detalhado com -v:

sudo rm -rfv bolands-mills-mhcptz

Como foi apontado por vários comentadores, isso pode ser muito lento devido à quantidade de saída gerada e exibida pelo terminal. Você poderia redirecionar a saída para um arquivo:

sudo rm -rfv bolands-mills-mhcptz > rm-trace.txt

e observe o tamanho de rm-trace.txt.

Outra opção é observar o número de arquivos no sistema de arquivos diminuir. Em outro terminal, execute:

watch  df -ih   pathname

A contagem de inodes usados ​​diminuirá conforme o rmprogresso. (A menos que os arquivos tenham principalmente vários links, por exemplo, se a árvore foi criada com cp -al). Isso rastreia o progresso da exclusão em termos de número de arquivos (e diretórios). dfsem -irastreará em termos de espaço usado.

Você também pode executar iostat -x 4para ver operações de E / S por segundo (assim como kiB / s, mas isso não é muito relevante para E / S de metadados puros).

Se você ficar curioso sobre quais arquivos rmestão trabalhando no momento, você pode anexá strace-lo e ver como as unlink()chamadas do sistema (e getdents) são exibidas no seu terminal. por exemplo sudo strace -p $(pidof rm). Você pode encontrar ^co caminho para desanexar rmsem interrompê-lo.

Eu esqueço se o rm -rdiretório de alterações na árvore está sendo excluído; se assim você poderia olhar /proc/<PID>/cwd. Sua /proc/<PID>/fdforça, muitas vezes têm um diretório fd aberto, para que você possa olhar para isso para ver o que o seu rmprocesso está actualmente a analisar.

Embora todas as respostas acima sejam úteis rm, rmpode ser bastante lento na exclusão de um grande número de arquivos, como observei recentemente ao extrair ~ 100K arquivos de um arquivo .tar na verdade demorou menos tempo do que excluí-los. Embora isso realmente não responda à pergunta que você fez, uma solução melhor para o seu problema pode ser o uso de um método diferente para excluir seus arquivos, como uma das respostas anteriores a esta pergunta .

Meu método favorito pessoal é usar rsync -a --delete. Eu acho que esse método executa com rapidez suficiente para que valha a facilidade de uso sobre a resposta mais votada para essa pergunta , na qual o autor escreveu um programa em C que você precisaria compilar. (Observe que isso produzirá todos os arquivos que estão sendo processados ​​no stdout, assim como rm -rv; isso pode retardar o processo em uma quantidade surpreendente. Se você não desejar essa saída, use rsync -aq --deleteou redirecione a saída para um arquivo.)

O autor dessa resposta diz:

O programa agora (no meu sistema) excluirá 1000000 arquivos em 43 segundos. O programa mais próximo disso foi o rsync -a --delete, que levou 60 segundos (que também faz exclusões em ordem também, mas não executa uma pesquisa de diretório eficiente).

Eu descobri que isso é bom o suficiente para meus propósitos. Também é potencialmente importante com essa resposta, pelo menos se você estiver usando o ext4:

Como uma previsão, deve-se remover o diretório afetado e refazê-lo depois. Os diretórios apenas aumentam de tamanho e podem permanecer com desempenho fraco, mesmo com alguns arquivos internos devido ao tamanho do diretório.

Uma coisa que você poderia fazer seria iniciar o rmprocesso em segundo plano (sem saída, para que não seja mais lento) e depois monitorá-lo em primeiro plano com um simples comando ^(a) :

pax> ( D=/path/to/dir ; rm -rf $D & while true ; do
...>   if [[ -d $D ]] ; then
...>     echo "$(find $D | wc -l) items left"
...>   else
...>     echo "No items left"
...>     break
...>   fi
...>   sleep 5
...> done )

27912 items left
224 items left
No items left

pax> _

O find/wccombo pode ser substituído por qualquer ferramenta capaz de fornecer as unidades que você deseja.

^(a) Bem, relativamente simples, comparado com, por exemplo, a física nuclear, a hipótese de Riemann ou o que comprar minha esposa para o Natal :-)

Há um tempo atrás escrevi algo para imprimir a taxa em que as linhas foram impressas. Você pode executar rm -rfv | ./countere imprimir linhas por segundo / min. Embora não seja um progresso direto, ele fornecerá algum feedback sobre a taxa de progresso, talvez rmsobre um sistema de arquivos de rede ou similar?

O link para o código está aqui:

http://www.usenix.org.uk/code/counter-0.01.tar.gz