Se o backup completo do LTO-3 precisar de mais de uma fita. Qual é o meu próximo passo em termos de hardware?

ESTÁ BEM. alguns dados para levar em consideração

Eu uso o Backup Exec 12.x / 13.x, possui um ambiente de servidor 2003/2008, incluindo Exchange.

Eu tenho um backup em disco (completo / dif.) Independente do backup em LTO (completo / dif.). Por mais de um motivo, prefiro não apenas fazer backup do disco para a fita. Gostaria de manter o backup direto no LTO.

Atualmente, tenho uma única unidade LTO-3 sem nenhum tipo de carregador / robô / biblioteca. A caixa que atende à unidade LTO possui uma placa Adaptec 39160 Ultra160 SCSI . Atualmente, uso uma fita para Full (uma por semana) e uma para Diff (quatro dias por semana antes da retirada da fita). O backup completo está colidindo com a barreira de 372,5 GB e, quando o backup não termina no sábado, ainda está esperando uma fita na segunda-feira de manhã.

Ward mencionou a colocação da segunda fita LTO3 completa na segunda-feira à tarde / noite após o horário comercial normal. O problema com isso é comparado abaixo:

Fluxo normal

• Sexta-feira, insira a fita LTO3 1 para backup completo da semana 1
• Segunda-feira insira fita LTO3 para diferencial
• Terça-feira, quarta-feira, quinta-feira diferenciais usam fita que foi inserida segunda-feira
• repita para a semana 2

2 fitas LTO3 para fluxo completo de backup

• Sexta-feira, insira a fita LTO3 1 para backup completo da semana 1
• Segunda-feira, insira a fita 2 LTO3 para backup completo da semana 1
• Segunda-feira, insira a fita LTO3 1 para backup completo da semana 1 (para verificar o processo)
• Segunda-feira, insira a fita LTO3 2 para backup completo da semana 1 (para verificar o processo)
• Terça-feira inserir fita LTO 3 para diferencial
• Quarta-feira, quinta-feira diferenciais usam fita que foi inserida terça-feira
• repita para a semana 2

As trocas extras de fita comem mais de 6 horas na segunda-feira (a partir do momento em que eu coloquei a segunda fita). Se eu fizesse isso às 17:00, estaria aqui até quase meia-noite trocando fitas. Isso não está contando o tempo ocioso em Sat / Sun / Mon esperando por uma fita.

Agora eu poderia desativar o processo de verificação, salvar duas trocas de fita e diminuir o processo de "backup" por várias horas, mas não posso simplesmente colocar a fita 2 e sair no final do dia se não desativar a verificação . A transferência do backup para uma segunda fita prolonga o processo de backup, mas também

• Aumenta o número de fitas na rotação (custo)
• Aumenta o número de fitas no transporte (tamanho / peso da maleta indo para o armazenamento externo)
• Aumenta a complexidade do processo de backup, fazendo-me permanecer no local após o horário para o processo de verificação
• Aumenta a complexidade do gerenciamento de backup / restaurações do meu escritório, que não fica ao lado da sala do servidor. Isso é quádruplo para lidar com esses problemas em casa.

E sim, eu não vou no sábado ficar lá por mais de 6 horas e tomar conta da unidade de fita. Eu gostaria de ter uma vida fora do trabalho. 12 horas por dia, o MF já é ruim o suficiente quando acontece. Não vou me amarrar permanentemente a uma semana de trabalho de seis dias.

A unidade de fita é um Dell PowerVault 110T LTO3. O servidor de backup está em Gigabit Ethernet usando apenas uma única NIC e pode preencher uma fita completa em cerca de 12 horas.

Posso alterar o processo de backup para separar um dos servidores mais intensivos para um backup completo por conta própria, para impedir temporariamente essa decisão, mas em breve acho que precisarei escolher uma dessas opções:

1. Compre uma unidade LTO-3 e aproveite apenas uma segunda fita física disponível. Essa é uma opção menos desejável e só faz sentido se as unidades LTO-3 forem consideravelmente mais baratas que as unidades LTO-4, o que não é o caso.

2. Compre uma unidade LTO-4 e use as fitas LTO-4 para backups completos e use fitas LTO-3 para diferenciais até que as fitas LTO-3 sejam giradas para fora e as novas fitas LTO4 correspondam ao preço das fitas LTO3. Provavelmente, isso me ajudará no backup do fim de semana nos próximos anos sem precisar trocar as fitas. Isso também aborda parcialmente o engraxate, pois o LTO4 tem velocidade mínima menor que o LTO3.

3. Compre algo que possa alimentar as fitas automaticamente. Suponho que não haja algo que eu possa adicionar ao PowerVault 110T e isso significaria a compra de um novo dispositivo que tenha a fita e o carregador em uma única unidade. Provavelmente, isso não é econômico, basta obter uma unidade e carregar fitas manualmente, mas o carregamento automático de LTO4 seria o máximo em conveniência. Vou deixar o chefe acima de mim decidir entre a unidade de fita única e a unidade de carregamento automático.

Evan Anderson mencionou em outra solução que você poderia comprar unidades nessa faixa de preço

 LTO-4 (internal drive, 1 tape / day) - $2,766.00  
 LTO-4 (autoloader, 1 tape / day) - $4,566.00

mas não sei detalhes específicos sobre o que ele recomendaria para a unidade real e, se necessário, o controlador. Mostre-me um URL newegg (ou Dell, HP ou qualquer que seja o seu fornecedor favorito) para a sua solução, se você não se importa em procurá-lo ou apenas me fornece uma marca e um número de modelo, e ficarei feliz em fazê-lo a perna trabalha sozinha.

Estou procurando fazer uma compra necessária algum tempo no caminho antes que essa rotação de backup fique muito complicada. Eu provavelmente tenho alguns meses.

Xenny menciona a idade dos servidores e a velocidade do backup. O servidor Exchange tem 6 anos (embora os discos rígidos sejam muito mais novos). Existem alguns servidores de 4 anos na mistura com unidades sata de nível consumidor (WD6400AAKS). Os servidores que considero "novos" têm 2 anos neste momento.

O backup em disco do servidor de troca antigo foi tão rápido quanto 2184 MB / min, mas em geral o backup em disco é tão lento quanto o backup em fita nesta configuração. De fato, o backup em disco às vezes é mais lento que o backup na unidade de fita LTO-3. Eu também tive problemas com falhas de unidades e falta de compartimentos para adicionar mais unidades. Em geral, o backup em disco é um problema ainda maior do que a transição LTO3 / 4, mas isso pertence a uma pergunta diferente na falha do servidor, se eu quisesse entrar nesse assunto.

Vou escolher alguns números de um backup recente para ter uma idéia da velocidade. Esta não é uma lista completa, mas fornece uma idéia da variedade de velocidades envolvidas. Pretendo atualizá-lo em breve no formato MB de velocidade antiga / min MB / min, em que velocidade antiga é o antigo SCSI 320 LTO3 e jornal é o SAS LTO4.

DC C: ~ 850 MB / min
Estado do sistema DC ~ 700 MB / min
Exchange Server C: e estado do sistema ~ 500 MB / min ~ 600 MB / min
Exchange Server D: ~ 1400 MB / min ~ 1200 MB / min
Exchange Server Primeiro Grupo de armazenamento ~ 1100 MB / min ~ 700 MB / min
Servidor Web C: ~ 600 MB / min ~ 950 MB / min
Servidor Web E: ~ 1700 MB / min ~ 1950 MB / min
Fileserver C: ~ 500 MB / min
Fileserver E: ~ 1500 MB / min ~ 2200 MB / min
Servidor de arquivos G: ~ 1800 MB / min ~ 2400 MB / min
Estado do sistema do
arquivos ~ 650 MB / min servidor de fax C: ~ 400 MB / min ~ 550 MB / min
Servidor de contabilidade C: ~ 1300 MB / min ~ 1775 MB / min
Servidor de contabilidade D: ~ 1500 MB / min ~ 2250 MB / min
Instância SQL de contabilidade ~ 1600 MB / min
servidor de aplicativos C: e estado do sistema ~ 700 MB / min ~ 900 MB / min
servidor de backup C: 700 MB / min ~ 1800 MB / min
servidor de backup E: 1350 MB / min ~ 2900 MB / min

Monitorando o servidor de arquivos Vi números que me fazem pensar que o controlador RAID está retendo as taxas de transferência. O controlador é SATA 1.5, mas as unidades são compatíveis com 3.0. Notei depois de alterar os volumes do RAID 1 para o RAID 10 e não obtive aumento na velocidade dos backups. Infelizmente, dobrar a velocidade de leitura sustentada não afetou o backup da unidade de fita LTO3.

Em geral, o backup direto para LTO me fornece uma referência decente de onde meus servidores são limitados de E / S. Os servidores que estão fazendo backup abaixo de 1500 MB / min geralmente têm um disco lento e os que estão entre lá e 2400 MB / min ainda são baixos. Por exemplo, o servidor Exchange 2003 está com pouco espaço em disco e continua a expandir o banco de dados do Primeiro Grupo de Armazenamento para partes mais lentas dos discos. Este servidor será substituído por um servidor Exchange 2010 por processadores mais rápidos e mais discos. Os outros servidores receberão atualizações de disco e / ou SSDs adicionados.

http://en.wikipedia.org/wiki/Tape_drive menciona "Quando a troca de sapatos ocorre, ela afeta significativamente a taxa de dados atingíveis, bem como a vida útil da unidade e da fita". mas não menciona o brilho dos sapatos, reduzindo a capacidade efetiva de uma fita. Depois de examinar as fitas de arquivo do banco, posso confirmar que 2% a 15% de espaço desperdiçado nas fitas LTO3. Nem o suficiente para me impedir de mudar para o LTO4 ou um carregador automático, mas isso pode ser significativo. Para aqueles de vocês com o Backup Exec, é possível calcular o desperdício de engraxate:

• Fazendo um trabalho de backup que fará backup de cerca de 100% da capacidade nativa das fitas sem compactação. Desative a compactação na unidade e no software ao executar o teste.
• procure na guia mídia do backup exec e compare a coluna "capacidade usada" com a coluna "Dados". Se a compactação estiver desativada e os números coincidirem, você não estará brilhando.

No meu caso, eu tinha uma fita LTO3 de arquivo com 272,4 GB "usados", mas apenas 233,67 GB "dados" e outra com 400,6 GB versus 395,19 GB. Eu também tentei fazer um backup no LTO4 sem compactação e obtive 833 GB "usados" com apenas 786,77 GB "dados". Obviamente, o engraxate varia do meu ambiente para o seu, mas antes disso eu não pensava em testá-lo. Espero que isso esclareça a você como descobrir quanta fita desperdiçada você tem no seu ambiente de backup.

edite: novas informações em http://www.fujifilmusa.com/shared/bin/LTO_Overview.pdf mostrando velocidades mínimas de fita para LTO3 e LTO4. Parece que o IBM LTO4 realmente tem uma velocidade mínima menor que o IBM LTO3. De qualquer maneira, meu servidor médio é muito lento para alimentar o LTO3 / 4 sem engraxar os sapatos. Estou preocupado que até meu backup em volumes locais em disco seja lento demais para alimentar a unidade rapidamente, mas terei que testar isso.

Puxando as informações da unidade de altura completa da IBM do PDF acima, recebo

LTO4 : 30-120MB/s 800GB native (45-240MB/s compressed)
LTO3 : 40- 80MB/s 400GB native (60-160MB/s compressed)
LTO2 : 18- 35MB/s 200GB native (27- 70MB/s compressed)
LTO1 : 15- 15MB/s 100GB native (30- 30MB/s compressed)  

Atualização : o servidor que eu estava usando para backup começou a me dar erros de parada, então mudei a unidade de fita para outro servidor. O controlador SCSI antigo era um Adaptec 160, o "novo" controlador é um 320 baseado em LSI (pelo menos, eu suponho que o conector externo seja um 320, pois os 4 discos rígidos no servidor mencionam 320 SCSI no gerenciamento do servidor).

A nova situação do servidor me deixa temporariamente sem backup em disco até eu obter um gabinete externo para armazenamento conectado diretamente. Em geral, essa discussão sobre LTO me indicou a compra de mais discos rígidos para meus servidores. Terei trabalho para reconfigurar matrizes RAID para aumentar a velocidade do backup e, espero, aumentar a confiabilidade da configuração geral.

Atualização 2 : A comparação abaixo usa um servidor de arquivos antigo, cujo controlador de ataque afasta todas as transferências a ~ 40MB / s; portanto, o ideal seria cerca de 2400MB / min. Trata-se da velocidade necessária para testar a borda do sapato. Presumivelmente, o fluxo de dados não será perfeitamente regular e forçará a correspondência de velocidade quase durante todo o teste.

Não sei mais o tamanho do buffer e a contagem de buffers que usei no teste de velocidade da antiga unidade LTO3, mas isso não muda muito. Eu tenho talvez um ganho de 100 MB / min ajustando os buffers. Os dados do teste são cerca de 20 GB de tifs e jpgs digitalizados. Fiz esses testes em uma tarde de sexta-feira e não repeti os testes o suficiente para calcular a média dos dados ou eliminar dados inválidos. Testar após o expediente, escolher dados diferentes e outras variáveis ​​pode afetar visivelmente esses testes.

Os mesmos servidores são usados ​​em todos os testes. A unidade antiga está em um controlador 320 SCSI LVD que é PCIx. A nova unidade está em um controlador SAS PCIe LSI 3801E. É possível que o controlador da unidade e / ou a unidade de fita LTO3 sejam gargalos. Não testarei os componentes individuais, apenas o emparelhamento antigo versus o novo emparelhamento. O servidor executando o Backup Exec possui 4 GB de RAM, 32 bits Server 2008 padrão, CPU dual core Pentium D 3.2GHz.

A conectividade de rede é por meio de um comutador de 1 Gb, ambos os servidores estão no mesmo comutador. Eu tenho uma conexão de área de trabalho remota aberta, mas com o backup ativo +, a conexão Gb é menor que 50% utilizada na pior das hipóteses e a média é mais parecida com 25% de uso.

Portanto, por mais difíceis que sejam os métodos de teste, sinto-me razoavelmente confiante de que os gargalos não estão em uma variável que estou ignorando.

Resultados curtos do teste :
~ 1500 MB / min usando a unidade Dell LTO3 e a compressão de fita LTO3 ativada, tamanho do bloco de 64 KB (muitas contagens de buffer testadas, melhor resultado listado aqui)

~ 1800 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma fita LTO3 (a mesma fita acima) ON, compressão de tamanho de bloco de 64 KB, tamanho de buffer de 64 KB, contagem de buffer 10, contagem de água alta 0, modo de bloco único de gravação LIGADO, gravação de SCSI através do modo ON

~ 2150 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma fita LTO3 (a mesma fita acima) ON de compressão, tamanho de bloco de 256KB, tamanho de buffer de 256KB, contagem de buffer 10, contagem de água alta 0, modo de bloco único de gravação LIGADO, gravação de modo SCSI através do modo ON
~ 2200 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma fita LTO3 (a mesma fita acima) compressão OFF, tamanho de bloco de 256 KB, tamanho de buffer de 256 KB, contagem de buffer 10, contagem de água alta 0, modo de bloco único ON, gravação Modo de passagem SCSI LIGADO

~ 2050 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma compressão de fita LTO4 LIGADA, tamanho de bloco de 256 KB, tamanho de buffer de 256 KB, contagem de buffer 10, contagem de água alta 0, modo de bloco único de gravação LIGADO, modo de passagem SCSI de gravação LIGADO
~ 2250 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma compactação de fita LTO4 OFF, tamanho de bloco de 256 KB, tamanho de buffer de 256 KB, contagem de buffer 10, contagem de água alta 0, modo de bloco único de gravação ativado, modo de passagem SCSI de gravação ativado

~ 2050 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma compressão de fita LTO4 LIGADA, tamanho de bloco de 256 KB, tamanho de buffer de 1 MB, contagem de buffer 10, contagem de água alta 0, modo de bloco único de gravação LIGADO, modo de passagem de gravação LIGADO
~ modo de passagem SCSI de gravação ~ 2300 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma compressão de fita LTO4 desativada, tamanho de bloco de 256 KB, tamanho de buffer de 1 MB, contagem de buffer 10, contagem de água alta 0, modo de bloco único de gravação ativado, modo de passagem de gravação ativo, modo de passagem de gravação SCSI ativado

~ 2200 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma compressão de fita LTO4 LIGADA, tamanho de bloco de 256 KB, tamanho de buffer de 1 MB, contagem de buffer 20, contagem de água alta 0, modo de bloco único de gravação LIGADO, modo de passagem SCSI de gravação LIGADO
~ 2300 MB / min usando a unidade Quantum Superloader3 LTO 4 com uma compressão de fita LTO4 desativada, tamanho de bloco de 256 KB, tamanho de buffer de 1 MB, contagem de buffer 20, contagem de água alta 0, modo de bloco único de gravação ativado, modo de passagem de gravação SCSI ativado

É claro que o tamanho do bloco de ajuste é mais importante que o tamanho do buffer. Independentemente do tamanho do bloco ou do buffer usado, você obterá melhor desempenho ao desativar a compactação se os dados de origem não conseguirem acompanhar a taxa mínima de correspondência de dados das unidades de fita. Infelizmente, essa é uma configuração por unidade, não por trabalho ou por formato de fita, para que você não possa restringir a compactação apenas aos backups completos ou apenas ao LTO3. Você também terá que testar o quanto de um problema ocorre com sua combinação de hardware / software. É claro que o impacto no desempenho é pequeno e os testes mais importantes serão otimizar o backup completo de 600 GB a 800 GB em vez de 20 GB. Tentarei atualizar novamente assim que concluir algumas semanas ou meses de backups.

Além disso, observe que 100 MB / min está muito abaixo da velocidade mínima para o streaming de fita com o LTO 3; portanto, você provavelmente está perdendo uma quantidade razoável de capacidade com a fita parando e iniciando (ou seja, você provavelmente está melhor que 1,5: 1 compressão, mas isso é perdido nas lacunas nos dados da fita). Provavelmente isso será um pouco pior com o LTO 4, pois acho que a velocidade mínima aumentou.

Disco - Disco - Fita ajudará com o problema de velocidade mínima e fornecerá alguma capacidade gratuitamente.

Se você não estiver fazendo isso, considere fortemente algum tipo de desfragmentação programada dos discos nos servidores dos quais está fazendo backup. 1000 MB / min não é um ótimo nível de taxa de transferência para Ethernet de gig em hardware razoavelmente moderno. Eu esperaria que, mesmo em máquinas com 2 anos de idade, você fosse capaz de obter 1800 MB / min (isso é apenas leitura do disco do servidor a 30 MB / s), para que haja espaço para melhorias.

Edit: Para LTO 3, você realmente deseja um tamanho de bloco de 256 KB para obter o melhor desempenho.

Sapato WRT brilhando. Não há tempo para a fita rebobinar se o buffer ficar vazio por alguns instantes, deixando uma lacuna na fita.

inevitavelmente, os backups excedem a capacidade planejada originalmente. Aqui está o que eu sugeriria e diria sobre sua situação:

1. Portanto, o backup completo excede a capacidade de uma fita. Em seguida, use duas fitas.

2. Siga a recomendação da Symantec e continue fazendo seu backup em disco, depois faça backup desses backups em fita. agende os backups em disco para que ocorram após o horário em que menos recursos estiverem em uso. agende os backups em fita para que ocorram a qualquer momento durante o dia após a conclusão dos backups em disco, porque os backups em fita não têm impacto nos sistemas de produção.

3. Pense nos seus backups da semana (Completo e Diferencial) como parte do mesmo conjunto de backups. se demorar duas ou três fitas por semana, que assim seja.

4. agende os backups em fita para que ocorram apenas durante a semana em que você estiver lá para trocar as fitas.

Eu tenho uma situação semelhante, estou usando uma unidade Dell Powellault 110t lto2 e aqui está o que eu faço:

1. no sábado, faço um backup completo em disco (pasta de backup em disco para backups completos).

2. de domingo a sexta-feira, faço backups incrementais em disco (outra pasta de backup em disco para incrementais).

3. de segunda a sexta-feira, faço backups em fita do backup completo e incremental para pastas de disco. quando a fita atinge sua capacidade, eu a troco. se atingir capacidade no meio da noite, troco-a na manhã seguinte e o trabalho de fita termina.

4. depois das sextas-feiras, backup em trabalho de fita, troco fitas pela próxima semana. as duas fitas que retiro são a totalidade e os incrementos da semana atual e entram na minha rotação de 4 semanas. agora eu sei que todos os dados de backup das semanas atuais estão em um conjunto de fitas, armazenado fora do local.

enxague e repita

Fazemos algo semelhante ao joe:

1. sábado: backup completo em disco, quando terminar, inicie o backup completo em fita
2. segunda-feira: no final do dia, cole uma segunda fita e deixe o backup terminar
3. mon-fri: backups diferenciais em disco apenas

Se você realmente precisa fazer a fita de disco independente do backup em disco, convém que os dois backups estejam levemente fora de sincronia:

1. Inicie o disco e a fita no sábado, o disco terminará e a fita aguardará uma segunda fita na segunda-feira
2. Termine a fita de disco na segunda-feira (eu ainda esperaria até o final do dia para colocar a fita).
3. Seg-Sex, faça seus diferenciais de disco-disco (na verdade, vejo que você não diz isso, mas presumo que sim)
4. Ter-sex, faça seus diferenciais de disco-fita

Não vejo problema em fazer backup de conjuntos de arquivos ligeiramente diferentes nas duas mídias diferentes. Em quase todos os casos, você restaurará um arquivo a partir do backup em disco, com a fita apenas como um substituto ou uma maneira fácil de organizar vários conjuntos de backup.

Aqui está uma opção que pode ajudá-lo a sobreviver por um tempo:

Você já pensou em dividir seu backup em dois conjuntos de dados separados? Dependendo de como seus arquivos estão organizados, você poderá dividi-lo facilmente em dois blocos lógicos (ou seja, por departamento). Você faria um backup completo do primeiro conjunto de dados na quinta-feira à noite e um backup completo do segundo conjunto de dados na sexta-feira à noite. Todas as noites depois disso, dois trabalhos eram executados em uma única fita, um diferencial para cada conjunto de dados.

Dessa forma, você não entra nos fins de semana e não precisa tomar conta de uma unidade enquanto aguarda a conclusão da verificação. Além disso, você recebe a proteção adicional de não ter todos os seus ovos em uma cesta, por assim dizer.