Exclua todos, exceto 1000 arquivos aleatórios em um diretório

Deixei que um script de geração de dados demorasse muito tempo e agora tenha mais de 200.000 arquivos, dos quais preciso reduzir para cerca de 1000. Na linha de comando do Linux, existe uma maneira fácil de excluir todos, exceto 1000 desses arquivos, onde os arquivos que seriam retidos não teria dependência do nome do arquivo ou de qualquer outro atributo?

Exclua todos, exceto 1000 arquivos aleatórios em um diretório

Código:

find /path/to/dir -type f -print0 | sort -zR | tail -zn +1001 | xargs -0 rm

Explicação:

1. Listar todos os arquivos /path/to/dircom find;
   • print0: use \0( caractere nulo ) como delimitador de linha; para que os caminhos de arquivo que contenham espaços / novas linhas não quebrem o script
2. Embaralhe a lista de arquivos com sort;
   • -z: use \0(caractere nulo) como delimitador, em vez de \n(uma nova linha)
   • -R: ordem aleatória
3. Retire as primeiras 1000 linhas da lista aleatória com tail;
   • -z: trate a lista como delimitada a zero (igual a sort)
   • -n +1001: mostra linhas a partir de 1001 (ou seja, omita as primeiras 1000 linhas)
4. xargs -0 rm - remova os arquivos restantes;
   • -0: delimitado a zero, novamente

Por que é melhor que a solução do quixotic *:

1. Funciona com nomes de arquivos contendo espaços / novas linhas.
2. Não tenta criar nenhum diretório (que já pode existir, btw.)
3. Não move nenhum arquivo, nem toca os 1000 "arquivos da sorte", além de listá-los find.
4. Evita a falta de um arquivo, caso a saída de findnão termine com \n(nova linha) por algum motivo.

* - crédito para quixotesca para | sort -R | head -1000, me deu um ponto de partida.

Use um diretório temporário, depois findtodos os seus arquivos, escolha a lista aleatoriamente sorte mova os 1000 principais da lista para o diretório temporário. Exclua o restante e mova os arquivos de volta do diretório temporário.

$ mkdir ../tmp-dir
$ find . -type f | sort -R | head -1000 | xargs -I "I" mv I ../tmp-dir/
$ rm ./*
$ mv ../tmp-dir/* .

Se xargsqueixa-se o comprimento da linha, usar um número menor com heade repetir o comando conforme necessário (isto é, a mudança -1000para -500e executá-lo duas vezes, ou alteração para -200e executá-lo 5 vezes).

Ele também falhará ao manipular nomes de arquivos que incluem espaços; como a resposta do @ rld mostra, você pode usar findo -print0argumento de, os -zargumentos para sorte heade -0com xargspara garantir o manuseio adequado do nome do arquivo.

Finalmente, se o tmp-dirjá existir, você deve substituir um nome de diretório que não existe.

Para usuários de mac, o seguinte script deve funcionar.

find . -type f -print0 | tr '\0' '\n' | sort -R | tail -n +10000 | tr '\n' '\0' | xargs -0 rm

trpermitirá que a classificação e a cauda trabalhem em listas com, em \nvez de \0.

O mais fácil pode ser rm -rf o diretório e, em seguida, execute novamente o script de geração de dados, certificando-se de não executar por muito tempo.