Como posso usar o rsync para duplicar uma árvore de diretórios, criando hardlinks para arquivos?

De tempos em tempos, tenho que executar várias grandes alterações de migração nos arquivos de dados no meu servidor e estou procurando uma boa maneira de fazer isso. Eu estava pensando em usar o rsync para duplicar minha estrutura de diretórios começando na pasta de dados raiz, criando links físicos para todos os arquivos originais (alguns deles são grandes) e posso sobrescrever na árvore de destino apenas os arquivos que precisam ser migrados. No final, eu posso alternar com segurança dos arquivos antigos para os novos com duas mvoperações.

No entanto, não consigo obter o rsync para fazer isso. eu tentei

rsync -a --link-dest=$DATA $DATA $DATA/../upgrade_tmp

mas, em vez de criar links físicos para arquivos, o rsync os copia completamente. Existe um problema ao usar o mesmo diretório de origem e link-dest?

rsync é uma ferramenta poderosa, mas infelizmente é estranhamente exigente quanto a alguns de seus nomes de caminho.

Se $DATAfor um caminho absoluto (ou seja, começa com a /), a linha de comando correta a ser usada é:

rsync -a --link-dest=$DATA $DATA/ $DATA/../upgrade_tmp

[Agora, apenas um breve aparte sobre rsynca estranheza de. Observe a trilha /adicionada ao argumento de origem. Isso diz rsyncpara trabalhar com o conteúdo do diretório de origem, em vez de com o próprio diretório de origem. (Suponho que $DATAainda não contenha um final /). Nesse caso, queremos trabalhar com o conteúdo e adicionamos o final /.]

Se, por outro lado, $DATAfor um caminho relativo (ou seja, não começa com a /), o comentário de Sean R --link-desté sobre: ​​O caminho de destino do link é interpretado em relação ao caminho de destino , portanto, você deve usar o seguinte:

rsync -a --link-dest=../`basename $DATA` $DATA/ $DATA/../upgrade_tmp

EDITAR

Uma observação final: verifica-se que a segunda rsynclinha de comando que eu dei deve funcionar independentemente de $DATAser um caminho absoluto, uma vez basenameque não se importa se um caminho é absoluto ou relativo.

O que você quer é "cp -al":

cp -al $DATA/ $DATA/../upgrade_tmp/

• -a se repete como rsync -a
• -l vinculará os arquivos ao invés de copiá-los.

A --link-destopção in rsyncé relativa ao diretório de destino , não ao diretório atual. Então, o que você quer é:

rsync -a --link-dest=../`basename $DATA` $DATA $DATA/../upgrade_tmp

Acontece que é mais difícil fazer isso do rsyncque com outras ferramentas. A resposta correta rsyncé a de Steven Monai, mas a maneira mais fácil de fazer isso é usar um cp -alou pax -rwlem sistemas onde -lnão é uma opção válida para cp:

pax -rwl $DATA $DATA/../upgrade_tmp

ou

cp -al $DATA/ $DATA/../upgrade_tmp/

Funciona para mim:

$ rsync --hard-links --recursive --link-dest=/local user@host:/remote/ /local

Eu uso o rsync versão 3.1.0.

Do homem :

--hard-links

Diz ao rsync para procurar arquivos vinculados na transferência, sem essa opção, os arquivos vinculados na transferência são tratados como se fossem arquivos separados.

--link-dest = DIR

Arquivos inalterados são vinculados do DIR ao diretório de destino. Os arquivos devem ser idênticos em todos os atributos preservados (por exemplo, permissões, possivelmente propriedade) para que os arquivos sejam vinculados

Pode tentar seguir o link http://www.lessfs.com/wordpress/ é um trabalho em COW (cópia na gravação) que economizará tempo e espaço

Primeiro, crie os diretórios apenas no destino:

rsync -av --include '*/' --exclude '*' /source/ /destination/

Em seguida, vincule apenas os arquivos:

cd /source
find . -type f -exec ln -v {} /destination/{} \;

Use a opção -H para preservar os Hardlinks e leia a página de manual.