Como você lida com arquivamento de dados? [fechadas]

Os backups são uma coisa, mas o arquivamento de longo prazo é outra. Por exemplo, pode ser necessário que você armazene emails por 7 anos ou mantenha todos os dados do projeto indefinidamente. Eu costumava salvar arquivos em fita, mas depois as fitas foram destruídas (as unidades rasgam a fita). Então ... escreva para 2 fitas, ouço você dizer. É isso que os outros fazem? Possui 2 (ou mais) fitas dos mesmos dados para redundância?

Mas a outra questão é que as fitas geralmente não podem ser lidas por diferentes fornecedores de software de backup. Por exemplo, se você for do Arcserve -> Backup Exec -> Commvault por mais de 10 anos, precisará manter todos os 3 sistemas para poder restaurar dados antigos. Da mesma forma para o hardware. As fitas antigas podem não ter código de barras. Pode não ser compatível com a nova biblioteca, etc. etc. Portanto, você mantém o hardware de fita E o software antigo para o caso de precisar restaurar um arquivo de 10 anos?

Ou ... quando você muda para um novo sistema de backup, migra todos os dados arquivados para o novo sistema e os arquiva novamente em novas fitas? Isso poderia ser um trabalho enorme.

Alguma ideia?

De quantos dados estamos falando? Nossos dados de "arquivamento" são pequenos o suficiente para mantê-los no armazenamento ativo (em uma unidade NAS), que é copiado com os dados ativos habituais; portanto, eles existem da mesma forma que nossos dados usuais e estão sujeitos às mesmas técnicas de recuperação, ter que se preocupar em manter a tecnologia de uma década. Se nossos dados ativos forem movidos para uma nova plataforma de armazenamento, o arquivo será movido junto com eles. Também definimos as permissões para dados de arquivamento, de modo que apenas um membro do grupo de segurança de arquivamento (dos quais existem muito poucos usuários membros) tenha acesso para remover qualquer coisa dessas pastas.

Se você estiver lidando com mais dados do que os que podem ser razoavelmente mantidos no armazenamento ativo, a fita pode ser sua melhor aposta para armazenamento de longo prazo, além de manter pelo menos duas cópias em diferentes locais de armazenamento controlado. Traga-os a cada dois anos para garantir que a mídia ainda esteja legível e migre da mídia antiga para a nova mídia se você estiver trocando de fornecedor para garantir que possa continuar acessando os dados.

No meu caso, nós arquivamos arquivos em fita, e eu vou lhe dizer por que isso faz sentido para nós.

Antes de tudo, o software que usamos, o Tivoli Storage Manager, é prático, o software que usaremos no futuro próximo. Na minha opinião, o TSM é o principal da cadeia alimentar em termos de software de backup corporativo; portanto, o problema de mudar para uma plataforma de software diferente é relativamente inexistente para nós.

Dito isto, mantemos alguns arquivos de longo prazo e temos algumas maneiras diferentes de fazê-lo. Felizmente para nós, usamos algumas das mais recentes tecnologias de fita que podem armazenar mais de 1 TB por cartucho, portanto, ter uma grande quantidade de arquivos vivos dentro da biblioteca não é um problema.

• Arquive em fitas locais e copie esses arquivos em nosso data center alternativo, com as fitas de arquivo dentro da biblioteca de fitas.

Fazemos isso para certos tipos de dados porque os dados são restaurados regularmente e são importantes o suficiente para exigir duas cópias.

• Arquive em fitas locais, mas não em fitas remotas, e deixe as fitas dentro da biblioteca.

Fazemos isso para dados um pouco menos importantes, que precisam ser restaurados regularmente.

• Arquive na fita local e envie-as para armazenamento externo.

As práticas acima funcionaram muito bem para nós no passado. Migramos para uma tecnologia de fita totalmente diferente alguns anos atrás, e foi um pouco trabalhoso mover os dados, mas realmente não era grande coisa. No TSM, era literalmente um comando por servidor, com arquivos, e seria executado. Pode demorar alguns dias para ser executado, mas não foi um esforço de trabalho ativo para ninguém.

A onda do futuro é obviamente o armazenamento baseado em disco.

Assim que surgir a oportunidade, colocarei uma matriz de disco em um local de armazenamento seguro e copio arquivos de tipo de auditoria de longo prazo para um dispositivo como esse.

Duas instalações do EMC Centera (espelhadas em diferentes locais). Custa muito dinheiro, mas funciona.

http://www.emc.com/products/family/emc-centera-family.htm

Você também pode procurar uma solução como o Data Domain (agora NetApp) . Eles arquivam e realizam a compactação avançada a que chamam DeDupe, na qual procuram quantidades de dados semelhantes e obtêm taxas de compactação muito altas.

Que tipo de dados você está tentando fazer backup? São todos os dados "aleatórios", como vídeo ou música? Ou são dados que podem se prestar à compactação?

Avance com a nova solução de arquivamento e mantenha as fitas pelo tempo que precisar desses dados. Se você precisar permanentemente, considere migrá-lo para o disco. Com os backups de disco, a migração para a mídia futura é decididamente mais fácil.

Daqui a um ano ou talvez dois daqui, você poderá começar a descartar as fitas se esses backups não forem mais necessários.

Reimplementar é um grande esforço se o tempo resolver seu problema para você. Faça a análise de custo se você tiver um custo associado ao armazenamento de backups e / ou licenças de software para trabalhar com eles.

Seu problema com o arquivamento de dados, para simplificar seu enigma, parece ser a compatibilidade futura de fitas antigas com novo hardware.

Minha solução: escolha apenas um fornecedor com uma solução completa (software e hardware) na qual você confia que fará o melhor para oferecer compatibilidade herdada.

E, obviamente, obtenha um contrato muito bom em termos de preço, considerando sua fidelidade;)