Movendo milhões de arquivos para um diretório diferente com padrões de nomes específicos

Eu tenho milhões de arquivos com a seguinte nomenclatura em uma máquina Linux:

1559704165_a1ac6f55fef555ee.jpg

Os 10 primeiros dígitos são de data e hora e os seguidos de a _são IDs específicos. Quero mover todos os arquivos correspondentes a IDs específicos de nome de arquivo para uma pasta diferente.

Eu tentei isso no diretório com arquivos

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

No entanto, estou recebendo um erro indicando:

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

Quando tentei, mv ??????????_a1ac*.jpg estou recebendo um erro muito longo da lista de argumentos. Eu tenho pelo menos 15 padrões de nome de arquivo diferentes. Como eu os movo.

Você deveria usar:

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

Isso maxdepth 1significa que você deseja procurar no diretório atual sem subdiretórios.

type f significa encontrar apenas arquivos.

name '??????????_a1ac*.jpg' é um padrão que corresponde ao arquivo que você está pesquisando.

mv -t destination "{}" +significa mover arquivos correspondentes para o destino. Aqui +adiciona novos arquivos correspondentes ao anterior, como:

mv -t dest a b c d

Aqui abcd existem arquivos diferentes.

Seu comando,

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Apresenta a lista de todos os arquivos para todos os arquivos!

find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

fará o truque.

Você está muito perto. Você deve usar a -nameopção para find. E lembre-se de citar o padrão.

assim

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"

Não é tão "bom" quanto as findsoluções, mas outra solução válida é tornar os mvcomandos mais granulares.

Isso faz 4096 movimentos, com um número menor de arquivos movidos por mvoperação.

FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done

Se você deseja mover arquivos no mesmo sistema host, o que eu acho que você está fazendo com o seu mv, rsyncpoderia ser uma opção mais rápida:

rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

--inplacee -Westão configurados para acelerar o processo.

Se isso gerar outro erro da lista de argumentos muito longo , você poderá alimentar listas pararsync

Faça a lista com find, por exemplo

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

e dê para rsync

rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

A fonte aqui é /path/to/files, porque rsynctratará a lista que você fornecer como relativa à sua fonte.

O ponto é: rsyncé mais rápido que mv, se os arquivos não estiverem no mesmo sistema de arquivos .