Perguntas com a marcação «deduplication»

Estou procurando uma maneira fácil (um comando ou uma série de comandos, provavelmente envolvendo find ) de encontrar arquivos duplicados em dois diretórios e substituir os arquivos em um diretório por links físicos dos arquivos no outro diretório. Aqui está a situação: Este é um servidor de arquivos no qual …

137 files  hard-link  deduplication  duplicate-files 

Não tenho experiência com btrfs, mas é anunciado que é possível desduplicar arquivos. No meu aplicativo, eu precisaria duplicar árvores de diretório inteiro. Pelo que aprendi, o btrfs apenas desduplica em algumas postagens, não imediatamente. Mesmo o uso cpnão parece desencadear nenhuma deduplicação (pelo menos, dfmostra um aumento no uso …

14 cp  file-copy  btrfs  deduplication 

Procurando por ferramentas de desduplicação no Linux, há muitas, veja, por exemplo, esta página wiki . Quase todos os scripts fazem apenas a detecção, imprimindo os nomes de arquivos duplicados ou removendo os arquivos duplicados vinculando-os a uma única cópia. Com o surgimento do btrfs, haveria outra opção: criar uma …

9 btrfs  deduplication 

Eu tenho ~ 30k arquivos. Cada arquivo contém ~ 100k linhas. Uma linha não contém espaços. As linhas em um arquivo individual são classificadas e duplicadas gratuitamente. Meu objetivo: quero encontrar todas as linhas duplicadas em dois ou mais arquivos e também os nomes dos arquivos que continham entradas duplicadas. …

9 shell-script  text-processing  performance  large-files  deduplication 

Como se pode gerar um arquivo tar, para que o conteúdo dos arquivos tarred seja alinhado em bloco, como nos arquivos originais, para que se possa beneficiar da desduplicação no nível do bloco ( https://unix.stackexchange.com/a/208847/9689 ) ? (Estou correto de que não há nada intrínseco ao formato do tar que …

8 btrfs  archive  deduplication 

Esta pergunta / resposta tem algumas boas soluções para excluir linhas idênticas em um arquivo, mas não funcionará no meu caso, pois as linhas duplicadas têm um carimbo de data / hora. É possível dizer ao awk para ignorar os primeiros 26 caracteres de uma linha na determinação de duplicatas? …

8 text-processing  awk  duplicate  deduplication 

Quais são as soluções disponíveis para desduplicação em nível de bloco ou mais detalhada? Existem arquivos baseados - com a abordagem "Copiar na gravação". Estou procurando pelo nível de bloco "copy-on-write", para que possa procurar periodicamente por blocos comuns, ou - preferencialmente - partes de arquivos, mesclá-los e sinalizar para …

8 filesystems  deduplication