Conselho geral sobre uma solução de arquivamento. ~ 15tb e crescendo.

Preciso de um melhor sistema de armazenamento e arquivamento para os arquivos da minha pequena empresa. Especificamente, os arquivos são projetos de vídeo concluídos. Além das limitações de tempo e custo, o que está me segurando é que não acredito em nenhuma das soluções que ponderei. Portanto, estou apresentando o problema e meus pensamentos. Eu apreciaria qualquer opinião.

Orçamento: acredito em gastar o que é preciso. Dito isto, somos uma pequena empresa. Espero conseguir sair disso por <5k e mais por 1-3k. Isso pode ser um sonho. Apenas me diga.

O problema:

• Arquivos de vídeo cru são enormes no tamanho do arquivo. Acumulamos provavelmente 10 + tb até agora e isso está crescendo rapidamente.
• A edição de vídeo requer acesso rápido de leitura / gravação aos arquivos, para que um servidor de arquivos central ou na nuvem não seja rápido o suficiente. Portanto, provavelmente precisamos de uma solução de alcance para projetos antigos e os projetos atuais terão que permanecer locais.
• Queremos algum tipo de redundância e solução externa.

O que fazemos atualmente:

• Usamos discos rígidos externos grandes e de alta qualidade.
• Sempre compramos em pares e duplicamos manualmente o conteúdo. Em outras palavras, trabalhamos fora de um e duplicamos os arquivos no outro, que serve como backup / retorno.
• Esses HDs são rápidos o suficiente com o firewire800 ou USB3 para funcionar diretamente.
• Uma vez preenchido, separamos o par.

O que há de errado com a solução atual:

• Embora os dados sejam duplicados em duas unidades, essas unidades não são "armazenadas em backup" ou armazenadas fora do local.
• A organização entre esses muitos HDs externos é difícil. Qual projeto está em que unidade? etc.
• Eventualmente, teremos uma quantidade ridícula de discos rígidos.
• Duplicação não é RAID.

Opções:

Um servidor local

• Compre um servidor de montagem em rack e um gabinete de matriz de disco rígido montado em rack, como um Norco (SAS) (20 compartimentos).
• Todos os arquivos de vídeo seriam armazenados neste servidor. Poderíamos instalar e pagar um serviço em nuvem para fazer backup deste computador / servidor. O CrashPlan funciona no Linux e não tem limites para a quantidade de dados. Os discos rígidos seriam unidades físicas conectadas ao servidor, para contornar as regras "sem NAS" que empresas como o CrashPlan possuem. Como não é um computador pessoal, a sincronização pode ser executada 24/7/365. Isso resolveria o problema externo.
• Em vez de usar um serviço de backup online como o CrashPlan, poderíamos escrever um script para sincronizar esses arquivos em uma conta do Amazon Glacier.
• Uma política em que os vídeos são exibidos a partir de discos rígidos externos para projetos atuais, mas deve colocar o projeto neste novo computador quando concluído. Em outras palavras, continue usando discos rígidos externos para projetos atuais e armazene projetos arquivados neste servidor.

Serviços de backup baseados em nuvem (CrashPlan.com, BackBlaze.com, Carbonite.com)

• Normalmente, você só pode fazer backup de um disco rígido externo fisicamente conectado a um computador. (sem NAS ou unidades de rede).
• Normalmente, eles esperam que uma unidade externa com backup permaneça conectada ao seu computador e todos os dados permaneçam na unidade. Se você não conectar um disco rígido externo por meses, o que acontece com os backups? Se você limpar o espaço excluindo projetos antigos, eles também serão excluídos do serviço online.
• Exige que nossos usuários deixem os discos rígidos externos conectados ao computador até que todos os dados estejam na nuvem. Isso pode levar semanas para um grande projeto.
• A restauração de um projeto seria muito lenta devido às velocidades de transferência da Internet.
• Essas contas de backup em nuvem geralmente são específicas para um usuário / um computador. Portanto, se um disco rígido for copiado por um usuário. Então, um segundo usuário trabalha no projeto, o que isso significa?

Um grande NAS

• Um NAS é "Armazenamento da área de rede". Você instala quantos discos rígidos ele suporta. Vai atacá-los. Você pode acessá-lo através da conexão de rede ou talvez USB3 / Firewire.
• A maioria possui um sistema operacional nele. Portanto, você não pode executar outro software, como serviços de backup em nuvem. Nem você pode fazer qualquer personalização ou executar seu próprio software. Você recebe o que compra.
• Os grandes NASs são muito caros e não são tão grandes assim. Você não encontra muitos com mais de 4 compartimentos. Atualmente, um grande HD é de 3 TB. Portanto, 4bays podem estar em torno de <12tb de armazenamento. Não é super confortável para o futuro.

Outras idéias são:

• Backups de fita.
• Basta arquivar os projetos mais antigos diretamente no Amazon Glacier, pular a construção de um servidor local para armazená-los.

Obrigado por qualquer conselho !!! Jed

Fita. Simples assim. A Quantum possui um sistema SuperSTore que pode lidar com muito mais do que isso e eu os vi por menos do que o seu preço de 5000 - novo. O bom é que você pode retirar as fitas para armazenamento, de modo que o dimensionamento será bastante econômico e as fitas durarão.

Primeiro, eu recomendaria evitar o Glacier. Parece bom, até que você calcule os custos para realmente restaurar uma grande quantidade de dados. Esta é uma calculadora não oficial que você pode usar para calcular os custos de armazenamento e recuperação do Glacier e julgar por si mesmo . A restauração de terabytes de dados do Glacier é uma perspectiva pouco atraente.

Segundo, eu recomendaria que, para fins de backup simples, você pudesse se safar de um único servidor NAS com muitas unidades. Parece-me que você olhou apenas as opções de NAS em casa e em pequenos escritórios e deve considerar uma oferta adequada de NAS. Preferindo a Dell, eu indicaria os servidores NAS PowerVault da Dell , mas a HP, IBM, SuperMicro e praticamente todos os demais têm ofertas semelhantes. Tenho um Dell PowerVault NX antigo em casa que serve como minha biblioteca de mídia e possui doze discos SAS de 2 TB SAS na linha. Também estão disponíveis unidades SAS nearline de 4 TB hoje em dia, para que você sempre possa preencher um servidor NAS adequado com elas. (Ou compre alguns servidores NAS.)

Você pode facilmente usar um desses em sua LAN local, instalar o software de backup de sua escolha ( como Bacula, se quiser gratuitamente , ou qualquer uma de uma dúzia de ofertas comerciais, se desejar suporte do fornecedor) e usar um grande volume RAID como seu destino de backup. Você pode usar um serviço de backup em nuvem para fazer backup desse servidor NAS e obter os benefícios de backups locais e remotos. Novamente, é isso que faço em casa. Servidor NAS adequado, terabytes de backup de dados em um serviço em nuvem.

E, é claro, você também pode usar fita ... comprar uma unidade ou biblioteca de fita LTO - pessoalmente, darei um grande esforço para evitar fita ou mídia de disco óptico, mas elas são opções legítimas e podem ser mais baratas que um disco solução de disco.

Por fim, sugiro que você precise considerar a principal desvantagem dos serviços de backup em nuvem, que é o tamanho do seu pipe da Internet. Pode levar semanas ou meses para carregar terabytes de dados pela sua conexão à Internet e / ou incorrer em taxas extras do seu provedor de serviços de Internet. Portanto, embora sejam uma opção viável para fazer backup de dados, até mesmo dados corporativos, essa é uma restrição que a maioria das pessoas não considera até que já a tenha atingido.

Eu acho que depende do seu orçamento. Se você puder gastar apenas US $ 6.000, provavelmente precisará criar seu próprio NAS. Eu consideraria o nas4free e quanto custa um servidor. Se você pode gastar US $ 20k, provavelmente pode preencher um servidor com um monte de discos e uma placa RAID decente ou software RAID no Linux ou o que for.

Por cerca de US $ 40k, você pode ter um 1U de alto nível (IBM x3550 M4, nic de Emulex 10 portas de 2 portas, NIC de 4 Gbit, NDS de 128 GB, 2 discos SAS de 10k locais) com iSCSI de 10 Gbit em uma caixa SAN Infortrend com 24 discos SAS de 4 TB que você pode fatie e corte os dados da maneira que desejar. RAID6 é uma configuração razoável.

A fita também é uma boa ideia, mas não sei o quão barato é realmente. Depende do tamanho da biblioteca. Se uma biblioteca de 48 fitas for boa, você poderá novamente fazê-lo com uma placa SAS de 1U e externa para talvez US $ 30k e 2 unidades LTO6 ... Mas você precisará de licenças de software para gerenciar backups em fita ou algo assim. Eu usei apenas o NetBackup, o que provavelmente não é uma boa opção para você aqui. Apenas não esqueça que você provavelmente desejará dirigir a biblioteca de fitas de alguma forma no software. Mas quando estiver fora da biblioteca, não esqueça de encontrar a fita e carregá-la, além de uma área de preparação para o acesso ...