Erro 'Lista de argumentos muito longa' ao copiar um grande número de arquivos

Estou usando o seguinte comando:

\cp -uf /home/ftpuser1/public_html/ftparea/*.jpg /home/ftpuser2/public_html/ftparea/

E estou recebendo o erro:

-bash: /bin/cp: Argument list too long

Eu também tentei:

ls /home/ftpuser1/public_html/ftparea/*.jpg | xargs -I {} cp -uf {} /home/ftpuser2/public_html/ftparea/

Ainda tem -bash: / bin / ls: lista de argumentos muito longa

Alguma ideia?

* .jpg se expande para uma lista maior do que o shell pode suportar. Tente isso em vez disso

find  /home/ftpuser/public_html/ftparea/ -name "*.jpg" -exec cp -uf "{}" /your/destination \;

Há um limite máximo para quanto tempo uma lista de argumentos pode ter para comandos do sistema - esse limite é específico da distribuição com base no valor de MAX_ARG_PAGESquando o kernel é compilado e não pode ser alterado sem recompilar o kernel.

Devido à maneira como o globbing é tratado pelo shell, isso afetará a maioria dos comandos do sistema quando você usar o mesmo argumento ("* .jpg"). Como o glob é processado pelo shell primeiro e depois enviado ao comando, o comando:

cp -uf *.jpg /targetdir/

é essencialmente o mesmo para o shell, como se você tivesse escrito:

cp -uf 1.jpg 2.jpg ... n-1.jpg n.jpg /targetdir/

Se você está lidando com muitos jpegs, isso pode se tornar incontrolável muito rapidamente. Dependendo da sua convenção de nomenclatura e do número de arquivos que você realmente precisa processar, é possível executar o comando cp em um subconjunto diferente do diretório por vez:

cp -uf /sourcedir/[a-m]*.jpg /targetdir/
cp -uf /sourcedir/[n-z]*.jpg /targetdir/

Isso poderia funcionar, mas exatamente o quão eficaz seria se baseia em quão bem você pode dividir sua lista de arquivos em blocos convenientes.

Globbable. Eu gosto dessa palavra.

Alguns comandos, como o find e o xargs , podem lidar com grandes listas de arquivos sem criar listas de argumentos de tamanho reduzido.

find /sourcedir/ -name '*.jpg' -exec cp -uf {} /targetdir/ \;

O argumento -exec executará o restante da linha de comando uma vez para cada arquivo encontrado por find , substituindo o {} por cada nome de arquivo encontrado. Como o comando cp é executado apenas em um arquivo por vez, o limite da lista de argumentos não é um problema.

Isso pode ser lento devido à necessidade de processar cada arquivo individualmente. Usar xargs poderia fornecer uma solução mais eficiente:

find /sourcedir/ -name '*.jpg' -print0 | xargs -0 cp -uf -t /destdir/

O xargs pode pegar a lista completa de arquivos fornecida pelo find e dividi-la em listas de argumentos de tamanhos gerenciáveis ​​e executar cp em cada uma dessas sublistas.

Obviamente, também há a possibilidade de recompilar seu kernel, configurando um valor maior para MAX_ARG_PAGES. Mas recompilar um kernel é mais trabalhoso do que estou disposto a explicar nesta resposta.

Isso acontece porque sua expressão curinga ( *.jpg) excede o limite de tamanho do argumento da linha de comando quando expandida (provavelmente porque você tem muitos arquivos .jpg abaixo /home/ftpuser/public_html/ftparea).

Existem várias maneiras de contornar essa limitação, como usar findor xargs. Dê uma olhada neste artigo para obter mais detalhes sobre como fazer isso.

Como GoldPseudo comentou, há um limite para quantos argumentos você pode passar para um processo que está gerando. Veja a resposta dele para uma boa descrição desse parâmetro.

Você pode evitar o problema não passando muitos argumentos no processo ou reduzindo o número de argumentos que está passando.

Um loop for no shell, find e ls, grep e um loop while fazem a mesma coisa nessa situação -

for file in /path/to/directory/*.jpg ; 
do
  rm "$file"
done

e

find /path/to/directory/ -name '*.jpg' -exec rm  {} \;

e

ls /path/to/directory/ | 
  grep "\.jpg$" | 
  while
    read file
  do
    rm "$file"
  done

todos têm um programa que lê o diretório (o próprio shell, localize e sl) e um programa diferente que, na verdade, recebe um argumento por execução e itera por toda a lista de comandos.

Agora, isso será lento porque a rm precisa ser bifurcada e executada para cada arquivo que corresponda ao padrão * .jpg.

É aqui que o xargs entra em jogo. O xargs recebe entrada padrão e para cada N (para freebsd é por padrão 5000) linhas, gera um programa com N argumentos. xargs é uma otimização dos loops acima, porque você só precisa bifurcar programas 1 / N para iterar todo o conjunto de arquivos que lêem argumentos na linha de comando.

Há um número máximo de argumentos que podem ser especificados para um programa, o bash expande * .jpg para muitos argumentos para cp. Você pode resolvê-lo usando find, xargs ou rsync etc.

Dê uma olhada aqui sobre xargs e encontre

/programming/143171/how-can-i-use-xargs-to-copy-files-that-have-spaces-and-quotes-in-their-names

A glob '*' está se expandindo para muitos nomes de arquivos. Use find / home / ftpuser / public_html -name '* .jpg'.

Usar a +opção para find -execacelerará bastante a operação.

find  /home/ftpuser/public_html/ftparea/ -name "*jpg" -exec cp -uf -t /your/destination "{}" +

A +opção precisa {}ser o último argumento, portanto, use a opção -t /your/destination(ou --target-directory=/your/destination) para cpfazê-lo funcionar.

De man find:

comando -exec {}

          This  variant  of the -exec action runs the specified command on  
          the selected files, but the command line is built  by  appending  
          each  selected file name at the end; the total number of invoca‐  
          tions of the command will  be  much  less  than  the  number  of  
          matched  files.   The command line is built in much the same way  
          that xargs builds its command lines.  Only one instance of  ‘{}’  
          is  allowed  within the command.  The command is executed in the  
          starting directory.

Editar : argumentos reorganizados para cp

Parece que você tem muitos *.jpgarquivos nesse diretório para colocá-los todos na linha de comando de uma só vez. Você poderia tentar:

find /home/ftpuser/public_html/ftparea1 -name '*.jpg' | xargs -I {} cp -uf {} /home/ftpuser/public_html/ftparea2/

Pode ser necessário verificar man xargssua implementação para ver se a -Iopção está correta para o seu sistema.

Na verdade, você realmente pretende copiar esses arquivos para o mesmo local em que eles já estão?

Vá para a pasta

cd /home/ftpuser1/public_html/

e execute o seguinte:

cp -R ftparea/ /home/ftpuser2/public_html/

Dessa forma, se a pasta 'ftparea' tiver subpastas, isso poderá ser um efeito negativo se você quiser apenas os arquivos '* .jpg', mas se não houver subpastas, essa abordagem será definitivamente muito mais rápida do que usando find e xargs