Anexar arquivos enormes um ao outro sem copiá-los

Existem 5 arquivos enormes (arquivo1, arquivo2, .. arquivo5) com cerca de 10G cada e um espaço livre extremamente baixo disponível no disco e preciso concatenar todos esses arquivos em um. Não há necessidade de manter os arquivos originais, apenas o final.

A concatenação usual está catem sequência nos arquivos file2.. file5:

cat file2 >> file1 ; rm file2

Infelizmente, esse caminho requer um espaço livre de pelo menos 10G que não tenho. Existe uma maneira de concatenar arquivos sem copiá-lo de verdade, mas diga ao sistema de arquivos que o arquivo1 não termina no final do arquivo1 original e continua no início do arquivo2?

ps. sistema de arquivos é ext4, se isso importa.

AFAIK (infelizmente) não é possível truncar um arquivo desde o início (isso pode ser verdade para as ferramentas padrão, mas para o nível de syscall, veja aqui ). Mas, com a adição de alguma complexidade, você pode usar o truncamento normal (junto com arquivos esparsos): Você pode gravar no final do arquivo de destino sem ter gravado todos os dados no meio.

Vamos supor primeiro que os dois arquivos sejam exatamente 5GiB (5120 MiB) e que você deseja mover 100 MiB por vez. Você executa um loop que consiste em

1. copiando um bloco do final do arquivo de origem para o final do arquivo de destino (aumentando o espaço em disco consumido)

2. truncar o arquivo de origem em um bloco (liberando espaço em disco)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Mas tente primeiro com arquivos de teste menores primeiro, por favor ...

Provavelmente, os arquivos não têm o mesmo tamanho nem múltiplos do tamanho do bloco. Nesse caso, o cálculo das compensações se torna mais complicado. seek_bytese skip_bytesdeve ser usado então.

Se esse é o caminho que você deseja seguir, mas precisa de ajuda para obter detalhes, pergunte novamente.

Atenção

Dependendo do ddtamanho do bloco, o arquivo resultante será um pesadelo de fragmentação.

Em vez de reunir os arquivos em um arquivo, talvez simule um único arquivo com um pipe nomeado, se o seu programa não puder lidar com vários arquivos.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Como Hauke ​​sugere, losetup / dmsetup também pode funcionar. Um experimento rápido; Criei 'file1..file4' e, com um pouco de esforço, fiz:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Em seguida, / dev / dm-0 contém um dispositivo de bloco virtual com seu arquivo como conteúdo.

Eu não testei isso bem.

Outra edição: o tamanho do arquivo deve ser divisível uniformemente por 512 ou você perderá alguns dados. Se for, então você é bom. Vejo que ele também observou isso abaixo.

Você precisará escrever algo que copie dados em grupos que sejam no máximo tão grandes quanto a quantidade de espaço livre disponível. Deve funcionar assim:

• Leia um bloco de dados de file2(usando pread()procurando antes da leitura no local correto).
• Anexe o bloco a file1.
• Use fcntl(F_FREESP)para desalocar o espaço de file2.
• Repetir

Eu sei que é mais uma solução alternativa do que você solicitou, mas isso resolveria o seu problema (e com pouca fragmentação ou arranhão na cabeça):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

e depois

#step 2:
cat file* > /the/new/fs/fullfile

ou, se você acha que a compactação ajudaria:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Então (e SOMENTE então), finalmente

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it