Existe um tar ou cpio mais inteligente disponível para recuperar eficientemente um arquivo armazenado no arquivo morto?

Estou usando tarpara arquivar um grupo de arquivos muito grandes (vários GB) bz2.

Se eu uso tar -tf file.tarpara listar os arquivos no arquivo morto, isso leva muito tempo para ser concluído (~ 10 a 15 minutos).

Da mesma forma, cpio -t < file.cpioleva tanto tempo para concluir, mais ou menos alguns segundos.

Consequentemente, a recuperação de um arquivo de um arquivo morto (por tar -xf file.tar myFileOfInterest.bz2exemplo) é tão lenta.

Existe um método de arquivamento por aí que mantém um "catálogo" prontamente disponível com o arquivo, para que um arquivo individual dentro do arquivo possa ser recuperado rapidamente?

Por exemplo, algum tipo de catálogo que armazena um ponteiro para um byte específico no arquivo morto, bem como o tamanho do arquivo a ser recuperado (assim como quaisquer outras informações específicas do sistema de arquivos).

Existe uma ferramenta (ou argumento para tarou cpio) que permita a recuperação eficiente de um arquivo dentro do arquivo morto?

tar (e cpio e afio e pax e programas similares) são formatos orientados para o fluxo - eles devem ser transmitidos diretamente para uma fita ou canalizados para outro processo. enquanto, em teoria, seria possível adicionar um índice no final do arquivo / fluxo, eu não conheço nenhuma versão que o faça (seria uma melhoria útil)

ele não ajudará nos seus arquivos tar ou cpio existentes, mas há outra ferramenta, dar ("arquivamento em disco"), que cria arquivos que contêm esse índice e pode fornecer rápido acesso direto a arquivos individuais dentro do arquivamento. .

se o dar não estiver incluído no seu unix / linux-dist, você pode encontrá-lo em:

http://dar.linux.free.fr/

Você pode usar o SquashFS para esses arquivos. Isto é

• projetado para ser acessado usando um driver de fusível (embora exista uma interface tradicional)
• compactado (quanto maior o tamanho do bloco, mais eficiente)
• incluído no kernel do Linux
• armazena UIDs / GIDs e tempo de criação
• ciente de endianess, portanto, bastante portátil

A única desvantagem que conheço é que é somente leitura.

http://squashfs.sourceforge.net/ http://www.tldp.org/HOWTO/SquashFS-HOWTO/whatis.html

Embora não armazene um índice, staré suposto ser mais rápido que tar. Além disso, ele suporta nomes de arquivos mais longos e oferece melhor suporte para atributos de arquivo.

Como eu sei, descompactar o arquivo leva tempo e provavelmente seria um fator na velocidade da extração, mesmo que houvesse um índice.

Editar: Você também pode querer dar uma olhada xar. Ele tem um cabeçalho XML que contém informações sobre os arquivos no arquivo morto.

Na página referenciada:

O cabeçalho XML de Xar permite que ele contenha metadados arbitrários sobre arquivos contidos no arquivo morto. Além dos metadados do arquivo unix padrão, como o tamanho do arquivo e os tempos de modificação e criação, o xar pode armazenar informações como bits do arquivo ext2fs e hfs, sinalizadores unix, referências a atributos estendidos, informações do Mac OS X Finder, Mac OS X bifurcações de recursos e hashes dos dados do arquivo.

Thorbjørn Ravn Anderser está certo. O tar GNU cria arquivos "procuráveis" por padrão. Mas ele não usa essas informações quando lê esses arquivos se a opção -n não for fornecida. Com a opção -n, acabei de extrair o arquivo de 7 GB do arquivo de 300 GB no tempo necessário para ler / gravar 7 GB. Sem -n demorou mais de uma hora e não produziu resultado.

Não tenho certeza de como a compressão afeta isso. Meu arquivo não foi compactado. Os arquivos compactados não são "procuráveis" porque o tar atual do GNU (1.26) transfere a compactação para o programa externo.

O único formato de arquivo que conheço que armazena um índice é o ZIP, porque tive que reconstruir índices corrompidos mais de uma vez.

Ele não indexa o que eu sei, mas eu uso o dump & restore com arquivos grandes, e navegar na árvore de restauração no modo interativo para selecionar arquivos aleatórios é MUITO rápido.

Você pode usar o formato de arquivo / compactação 7z (7zip) se tiver acesso ao p7zip-fullpacote.

No Ubuntu, você pode usar este comando para instalá-lo:

$ sudo apt-get install p7zip-full

Para criar um arquivo morto, você pode usar 7z a <archive_name> <file_or_directory>e, se você não deseja compactar os arquivos e apenas "armazená-los" como estão, pode usar a -mx0opção como:

$ 7z a -mx0 myarchive.7z myfile.txt

Creating archive myarchive.7z

Você pode extrair os arquivos usando 7z e:

$ 7z e myarchive.7z

Processing archive: myarchive.7z
Extracting  myfile.txt

Ou você pode listar o índice do arquivo com o 7z lque é útil para pesquisar grep:

$ 7z l myarchive.7z | grep

2014-07-08 12:13:39 ....A            0            0  myfile.txt

Essa também é a topção para testar a integridade, uadicionar / atualizar um arquivo no arquivo morto e dexcluir um arquivo.

NOTA IMPORTANTE
Do não usar o formato 7zip para Linux sistema de arquivos backups, pois não armazena o proprietário eo grupo dos arquivos contidos.

Eu acredito que o GNU tar é capaz de fazer o que você deseja, mas não consigo localizar um recurso definitivo para isso.

De qualquer forma, você precisa de um formato de arquivamento com um índice (pois isso permitirá que você faça o que deseja). Eu não acredito que os arquivos ZIP possam crescer tanto assim, infelizmente.