Qual é a maneira mais segura e barata de armazenar 10 terabytes de dados?


19

Sou membro de uma produtora e estamos nos preparando para nosso primeiro longa-metragem. Temos discutido métodos de armazenamento de dados para manter todo o nosso conteúdo original seguro (pelo maior tempo possível). Embora entendamos que os dados nunca são 100% seguros, gostaríamos de encontrar a solução mais segura para nós.

Consideramos:

  • NAS de 16 TB para armazenamento no local

  • 4-5 discos rígidos de 2 TB (baratos, mas não redundantes), copie as imagens originais para as unidades e sele-as em uma bolsa isenta de estática

  • Grave dados em discos Blu-Ray (demorado e caro: 200 discos == $ 5000)

  • Unidade (s) de fita?

Eu sei o mínimo sobre unidades de fita, exceto pelo fato de serem mais confiáveis ​​que os discos. Qualquer experiência / conhecimento com essa quantidade de dados é muito apreciada.


1
Não esqueça de dizer para eles não tentarem pendurá-los com ímãs super fortes. Ruim para unidades de disquete, muito ruim para discos rígidos ...
Hello71

2
Esta não é uma resposta, mas talvez seja interessante para você: blog.backblaze.com/2009/09/01/…
Bobby

Que tal usar o tomsguide.com/us/… do DiamonDisc DVD ? Eu sei, um pouco caro.
Moab

Respostas:


14

Isso pressupõe que você esteja buscando um arquivo morto em vez de backup regular ou dados ativos.

Escolha um conjunto de discos rígidos SATA (1 ou 2 TB), além de alguns extras. Copie seus dados para os discos. Use o QuickPar (ou um arquivador que suporte volumes de paridade) para criar arquivos de paridade adicionais. Distribua arquivos de paridade entre seus discos rígidos.

As informações de paridade permitirão reconstruir arquivos se você tiver arquivos de paridade suficientes. Portanto, se um disco morre, mas outros discos com informações de paridade ainda funcionam, você pode usar os arquivos de paridade para reconstruir o original.

Para obter mais redundância, faça tudo duas vezes e armazene em locais separados.

Se você é realmente paranóico, armazene um controlador PCI e PCI Express para SATA em cada site também!

Edit: Heck, se a paranóia é tudo, vá até o porco e armazene um PC com Ethernet gigabit em cada site capaz de ler os discos!


10
+1 Eu acho que você tem efetivamente definido e cunhou uma nova síndrome: dataparanoidism. ; P
jrista

Definitivamente comprando o dobro dos discos rígidos e copiando todos os dados duas vezes por redundância, obrigado!
Josh T

No aspecto "realmente paranóico", acho que um adaptador sata USB provavelmente será mais útil no futuro no futuro do que um conector específico da tecnologia da placa-mãe (por exemplo, PCI, PCI-E), embora mais lento.
226108 #:

9

As unidades LTO4 que usamos podem ser compactadas em 800 GB por fita. A desvantagem é o custo das próprias unidades. Se você pagou US $ 5 mil por discos Blu-Ray, não vai gostar do custo do LTO4. Por outro lado, os cartuchos são bem baratos por GB, para que você possa manter muitas cópias. Essas fitas têm um bom prazo de validade, mas você precisa planejá-las para a nova mídia ao substituir a unidade de fita. De como você descreve como vai usar esse armazenamento, não acho que a fita seja adequada. A menos que seja uma solução de backup em vez de uma solução de arquivamento . Problemas diferentes.

Você pode considerar algum tipo de fornecedor de backup baseado em nuvem para isso, se a sua alteração na rede diária for pequena o suficiente. Obviamente, isso depende de quão forte é a sua conexão à Internet, e a restauração a partir dela pode ser igualmente dolorosa. Esses serviços são bem novos, então não se sabe como eles lidam com o problema de falência dos seus dados; o que acontece se eles saem do negócio?

O armazenamento em disco local é definitivamente um caminho a percorrer. Um gabinete de unidade com unidades facilmente trocadas é provavelmente a melhor opção, considerando suas restrições de custo. Se você pode viver com esses dados offline, vá em frente. Os discos são baratos e os gabinetes de disco são mais baratos que as unidades de fita. Menos peças móveis.


Suponho que você precise disso para arquivamento, não para uso ativo em uma função de vídeo. Se for, isso é um problema de armazenamento diferente.


LTO5 agora é 1.5TO. Não tenho certeza compactado ou não, mas com certeza, 1.5!
R0ca

2
Eu recomendo vivamente que siga esta rota. O custo é um pouco alto para uma única vez (US $ 5.500), mas se você estiver no longo prazo, 90% desse custo será para a unidade; as fitas custam US $ 100 cada e provavelmente caem no custo ao longo do tempo. Além disso, você pode transportar com pouco risco de danos e mantê-los em um cofre ou similar, também com baixo risco. Também é 1.5T não compactado, 3T comprimido a 2: 1.
Slartibartfast

1
FWIW, o LTO4 atualmente roda cerca de ~ $ 40 / peça CAD / USD. O LTO5 roda ~ $ 120 / peça CAD / USD. (Fonte: CDW)
Chealion

Sim, mas as unidades de fita são executadas na casa dos milhares. Eu vejo um no NewEgg por US $ 3700.
SysAdmin1138

3

Na sua pesquisa de NAS, você analisou os dispositivos de armazenamento autogerenciado DroboPro ou DroboElite ?

Considere qual seria o custo se você perdesse algumas / todas as suas filmagens e orçamento adequadamente;)


2

Você já considerou serviços hospedados? Não tenho certeza de como o preço pesa, mas você pode considerar um serviço de hospedagem que vende armazenamento em massa. Talvez a AWS ?


2
Apenas para fornecer alguns números, 10 TB no Amazon S3 é de US $ 1500 / mês. Há também uma opção de "valor" a US $ 1000 / mês chamada redundância reduzida.
Hyperslug

Ahh, bom saber - obrigado pelos dados.
Nicorellius

Mas também há o Amazon Glacier, que é muito mais barato que o armazenamento S3 (por 10 TB $ 70 / mês). A recuperação leva muito tempo e é cara se você precisar fazer muito isso.
Chris

2

Oito a dez discos rígidos de 2 TB; faça dois conjuntos. Armazenar como já mencionado, separadamente ...

Eu ficaria longe da fita, pois é muito mais sensível às condições em que está armazenada do que aos discos; Além disso, daqui a cinco anos, é bem provável que você ainda consiga conectar uma unidade SATA a alguma coisa, mas talvez não consiga acessar uma unidade de fita capaz de ler suas fitas.

O sistema óptico seria o melhor em termos de estabilidade a longo prazo, mas, como você mencionou, os custos e a logística os tornam um tanto impraticáveis.


2

Eu recomendaria ter algum tipo de NAS / RAID para arquivos ativos com os quais você está trabalhando frequentemente. Se você usar unidades de grande capacidade, convém usar um RAID-6 ou similar que, como um hot spare RAID-5 +, permita a falha de dois discos antes que o RAID seja degradado, mas diferente da configuração do hot spare sua segunda unidade extra também terá paridade para que o ataque não precise reconstruir a paridade de sobra em caso de falha. Com as unidades ficando maiores, há uma chance maior de falhar durante uma reconstrução; portanto, é bom ter a maior paridade possível possível.

Além disso, eu recomendaria o uso de discos rígidos, como unidades de fita. Hoje em dia, pode-se até comprar caixas de discos rígidos (também esses ) que permitem arquivar unidades para arquivamento. Você pode despejar arquivos no RAID e, em seguida, fazer cópias extras de arquivos nas unidades a serem arquivadas.

Algumas casas de produção de vídeo como o Pixel Corps usam configurações semelhantes.

Além disso, eu recomendo armazenar arquivos em mais de um local (não sob o mesmo teto). Além disso, siga definitivamente o mantra de "se não estiver escrito em pelo menos dois lugares, você ainda não o salvou". Além disso, o RAID não conta como um backup por si só.


2

Suponho que isso se aplica principalmente ao armazenamento offline do tipo de backup: facilmente criado e restaurado, mas não muito usado nas operações do dia-a-dia.

Unidades de 2 TB podem ser adquiridas por cerca de US $ 140 atualmente. Então, para 10 TB, 5 unidades, US $ 700. Calcule cerca de US $ 400 para construir um servidor de energia semi-baixa em torno do Debian, Ubuntu ou outro tipo de Linux. Se você obtiver um sistema com várias NICs, poderá vincularas interfaces de rede juntas (potencialmente, acredito que você precisa de um switch gerenciado que suporte trunking) aumentam a largura de banda disponível que o servidor possui e protegem contra falhas de NIC. Você pode expor o armazenamento via samba, NFS ou algum outro método às estações de trabalho que precisam usá-lo. Para esse grande volume de dados, você provavelmente desejará algum tipo de redundância, de modo que quando (e não se) uma dessas unidades o morder, você não ficará sem seus dados. O RAID5 não é uma boa ideia aqui, por várias razões, mas o RAID10 é adequado. Como o servidor está executando o Linux, você pode usar o mdadm para gerenciar a matriz RAID. Você precisará dobrar o número de dispositivos físicos para fazer isso, para ter até 10 unidades. Custo total deste servidor de armazenamento:

Se você realmente ama seus dados (se esses são realmente importantes dados de produção, você deveria!), Você pode criar um servidor duplicado e fazer backup do backup. Você pode fazer isso com um rsync crontab, que pode ser terrivelmente lento, uma solução de pipe netcat / tar , que seria mais rápido, com certeza, ou configurar os dispositivos de ataque como a base de um dispositivo drbd . Com o armazenamento duplicado nas duas máquinas automaticamente, você garante (essencialmente) backups redundantes dos dados. Você pode ficar ainda mais sofisticado e configurar um sistema de failover de pulsação para garantir a disponibilidade do seu volume de dados.


rsync! = backup. Tenha cuidado, pois isso pode sincronizar arquivos corrompidos com a mesma facilidade. Ou seja, a menos que você use um sistema mais sofisticado com links simbólicos ou algo para criar arquivos históricos automaticamente (os arquivos que mudam são deixados na versão mais antiga; arquivos que não possuem apenas links simbólicos).
21410 Kevin Brock

2

Buffalo TeraStation III 8TB de armazenamento em rede - £ 1.085,56

link amazon.co.uk

Eu tenho uma versão de 1 TB terastation que atualizei para 4 TB, ela funciona perfeitamente no RAID5 para mim. Você pode comprar uma versão menor e atualizá-la para economizar dinheiro - ou comprar várias terastations etc.


1

Não sei muito sobre unidades de fita nem a semântica de armazenamento de dados em fita, então não posso ajudá-lo lá. Dado o custo proibitivo do uso do bluray como um backup em massa, eu usaria um NAS ou unidades individuais.

Uma coisa a ser cautelosa com o NAS / Raid é que, embora eles possam armazenar uma quantidade considerável de informações em uma única unidade virtual ... você precisa manter todas as unidades unidas, e o RAID geralmente não é um ótimo longo prazo " solução de backup ". Você corre o potencial de perder mais de uma unidade, perdendo o próprio dispositivo NAS (e raramente existem garantias de que um dispositivo de substituição possa ler dados das unidades, mesmo que seja um dispositivo "idêntico").

Dado o quão radicalmente baratos são os discos rígidos atualmente e sua estabilidade geral, eu optaria por discos individuais. Você pode facilmente pegar 10 unidades de 2 TB por um pequeno custo (talvez US $ 1200 - US $ 1500) e gerar dois conjuntos de backups. Você obtém um backup offline e redundante de seus dados, sem os riscos envolvidos com o RAID ou um dispositivo NAS. As unidades individuais também oferecem uma maior variedade de compatibilidade, pois é improvável que a SATA vá a qualquer lugar em breve.


1

Se você realmente quer ter certeza de que não o perderá, deseja pelo menos duas opções de arquivamento. Provavelmente fitas e discos rígidos. Fazer apenas uma cópia sem alguma forma de redundância é apenas outra maneira de lançar os dados.


1

Dependendo das necessidades de armazenamento, se você estiver procurando fazer backup de estações de trabalho individuais, consulte uma estação de armazenamento externa Thermaltake BlacX para unidades SATA removíveis. Eles suportam conexões externas USB e SATA. Basta soltar a unidade no dock, copiar os dados e você terá um backup.

Eu tenho docas em casa e trabalho. Faço backups em cada local e os trago para outro local para armazenamento externo. Também tenho um drive de trabalho para mover trabalhos em andamento entre locais.

As docas custam cerca de US $ 60,00 cada e você pode obter unidades de 1,5 TB por menos de US $ 100.


1

Josh, você não deixou claro se são dados de trabalho ou dados de arquivamento. Se os dados são valiosos, não há diferença real entre backup e arquivamento, apenas onde você armazena, ou seja, no seu sistema de trabalho ou arquivamento. Novamente, se os dados forem valiosos, seu sistema de trabalho e sistema de arquivamento serão idênticos se você quiser proteger os dados e observar as regras de backup.

O arquivamento se aplica mais ao tipo de mídia do que ao que está armazenado nele. O arquivo implica que os dados nunca serão alterados, ou seja, Escrito uma vez e Lido várias vezes, comumente chamado de WORM. As unidades WORM são tipicamente fitas, mas coisas como o RDX Quikstor e o RDX Quikstation (estação RDX de 8 compartimentos) têm a opção WORM para unidades específicas, para que não possam ser sobrescritas. Suspeito que o RDX Quikstation possa se adequar ao seu arquivamento.

Lembre-se de que um sistema de arquivamento faz parte de um plano de backup. Você nunca deve considerar ter apenas uma cópia de qualquer dado.

Algumas regras de backup são:

3-2-1 Regra.

Três (3) cópias dos seus dados. Uma (1) fonte e dois (2) backups em duas mídias diferentes, sendo que uma (1) é mantida fora do local.

Exemplos: servidor local com backup no NAS local e backup externo em fita ou RDX. Servidor no local feito backup no NAS local e backup fora do local. Servidor local com backup em NAS local e replicado em tempo real para NAS externo. Seu backup no local deve ser um disco.

Meios de comunicação:

Seu backup externo depende do tempo. O backup externo em mídia portátil introduz automaticamente atrasos. ou seja, o backup noturno de segunda-feira é retirado do local na terça à noite. Se você tiver um desastre antes do fechamento dos negócios na terça-feira, perderá dois dias. Quanto você pode perder depende inteiramente do seu negócio e da frequência da mudança de dados.

Armazenamento de mídia:

Observe totalmente as regras para armazenamento de mídia. Algumas fitas exigem que você as armazene na vertical entre faixas estreitas de temperatura e umidade, bem longe de fontes de campos magnéticos. Deixar cair uma fita reduzirá sua confiabilidade. Enviar fitas para casa com a garota do escritório na bolsa ao lado do celular é um desastre à espera de acontecer. As fitas também precisam de qualquer coisa até duas horas no ambiente de backup antes de serem inseridas na unidade, equalizam a temperatura e a umidade entre a fita e a unidade de fita. As fitas também precisam ser descartadas e substituídas nos intervalos de tempo / gravação necessários.

Pessoalmente, por esses motivos, não gosto de fita. O custo não é pequeno e nem o custo de ter alguém para gerenciá-lo. Investir em fita, mas não seguir as regras, é inútil. Você pode fazer isso barato, mas a confiabilidade diminui.

Eliminar pontos únicos de falha:

Não espalhe dados de backup em várias mídias. Por exemplo, o backup completo em uma fita e os diferenciais em outras 6 fitas multiplicaram seu risco de perda de dados 7 vezes. Se eu tiver um backup, eu gosto que ele contenha todos os arquivos necessários para restaurar os dados. Melhor ter 7 backups completos.

De certa forma, o ataque conta como várias mídias. Onde quer que você use o RAID, verifique se ele possui failover automático de hot swap. Tenha pelo menos uma unidade sobressalente em um compartimento de unidade como uma reposição hot swap dedicada, e os sistemas trocarão automaticamente a unidade morta com uma reposição hot swap. Se você tiver terabytes de dados, considere ter duas ou mais peças de hot swap no seu RAID.

Observe as distâncias externas:

Sua distância externa é importante. Há pouco sentido em ter backup externo se ele apenas proteger contra a perda de dados em algumas circunstâncias. Qualquer pessoa que tenha passado por um terremoto, inundação, tornado, furacão, etc. lhe dirá isso. Terremotos recentes em nossa cidade viram muitas grandes empresas tropeçarem sem backups externos (fitas ainda próximas aos servidores) ou backups ilegíveis. Geralmente 90 milhas / 90 km é uma boa distância.

Como não conheço seu orçamento, é difícil dar conselhos. O orçamento afeta a escolha de backup e armazenamento. Eu trabalhei para um produtor de filmes que fornece suporte de TI, por isso tenho alguma compreensão das partes móveis do seu setor. Há muitas perguntas não respondidas:

Quais servidores você possui, se houver? Quantos funcionários você tem? Este é o seu primeiro e único filme? Qual o tamanho do maior arquivo ou conjunto de arquivos? Qual é o tempo entre este filme e o próximo? Por exemplo, se você estiver produzindo em período integral, terá o fluxo de caixa para cobrir despesas mensais, como backup remoto por fibra. Que tipo de fluxo de caixa o filme gerará? Quais requisitos você tem para avançar? Essas e outras perguntas definem seus requisitos, metodologia e orçamento.

Por exemplo: Se você produzia três longas-metragens por ano e comerciais todos os meses, empregando uma dúzia de funcionários, poderia ter: Servidores com RAID com backup no RAID NAS no local. Um link de fibra dedicado (não tão caro) com um link de 100 bits sem contenção (não otimizado pelo ISP) replicado para um data center a 60m / 90k de distância. Dados importantes de arquivamento devem ser gravados em fita ou RDX e armazenados no datacenter ou no cofre de fita. O orçamento é seu único fator determinante quanto ao grau de redundância e backup que você pode pagar.

Ou, se o orçamento for baixo e a receita for de vendas e o futuro for desconhecido, você pode considerar as unidades TAPE, RDX ou USB (não recomendadas) armazenadas em casa.

Os requisitos atuais e futuros, fluxo de caixa e orçamento, ponderados com relação à perda de dados, são seus fatores definidores. Sugiro que você empregue um especialista em backup experiente e / ou analista de negócios para trabalhar no processo de armazenamento e backup para você.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.