Estratégia de backup do Amazon EC2

Tenho algumas configurações de servidor Web / servidor de banco de dados usando o EC2 da Amazon. Atualmente, estou tirando instantâneos diários de todos os meus sistemas e unidades EBS que contêm todos os meus arquivos de aplicativos, arquivos de banco de dados, código fonte e backups de banco de dados. Eu tenho um aplicativo de console que executa as criações de backup em um agendamento. Minhas imagens são imagens EBS.

Estou trabalhando em uma tarefa que eliminará meus instantâneos depois de tantos dias. Acho que minha pergunta é: Devo / também posso agendar uma tarefa completa de imagem / EBS? Dessa forma, se o servidor falhar ou estiver corrompido, basta iniciar a imagem mais recente e aplicar o instantâneo mais recente.

Enquanto estou trabalhando na minha estratégia de backup, estou usando o Jungle Disc para fazer backup dos meus discos de dados.

Minhas recomendações:

1. Sempre documente e / ou escreva a configuração de cada nova instância para que você possa reproduzir a instalação do software e a configuração do sistema no caso de perder a instância. Teste isso iniciando uma nova instância e seguindo o procedimento. Você pode usar uma AMI privada e personalizada se a instalação demorar muito e precisar iniciar instâncias rapidamente, mas a própria AMI deve ser criada usando um procedimento documentado e / ou com script.

2. Mantenha seus dados importantes em volumes separados do EBS e não no volume raiz do EBS. Isso tem muitos benefícios, incluindo facilitar a porta de dados para novas instâncias (por exemplo, com base em diferentes AMIs) e facilitar a obtenção de cópias de dados em outras instâncias (por exemplo, com instantâneos e novos volumes).

3. Crie instantâneos regulares dos volumes de dados do EBS. Se possível / aplicável, use uma ferramenta como minha captura instantânea consistente com ec2 para aumentar as chances de você tirar uma captura instantânea de um sistema de arquivos / banco de dados consistente. Faça backup dos dados fora da AWS / EC2, pois sua própria conta da AWS é um ponto único de falha.

4. Crie instantâneos do volume EBS raiz periodicamente em instâncias importantes. Embora isso possa ajudá-lo em caso de falha de volume da instância ou EBS, essa parte não é tão crítica por causa dos itens 1 e 2 acima. O principal motivo para fazer isso é que a criação de snapshots reduz o risco de falha do próprio volume EBS raiz.

A taxa de falha de um volume EBS está diretamente relacionada ao número de blocos que foram modificados nesse volume desde o último instantâneo do EBS.

Também devo / posso agendar uma tarefa completa de imagem / EBS?

sim, é aconselhável. Uma vez, ele me salvou, porque tive que redefinir várias vezes devido a problemas no kernel, até que o disco de inicialização não era mais legível e simplesmente iniciei a partir do instantâneo mais recente.

Se você estiver interessado, escrevi uma classe Java para capturar instantaneamente todos os volumes EBS conectados e também excluí-los após um certo período de tempo. Atualmente, faço um backup toda semana e descarto o terceiro depois de duas semanas.

https://github.com/stivlo/obliquid-cp/blob/master/src/main/java/org/obliquid/sherd/runner/RequestSnapshots.java

Ele executa apenas uma ação por execução, como tirar ou excluir um instantâneo, porque deve ser colocado em um cron a cada hora para evitar sobrecarregar dezenas de instantâneos ao mesmo tempo, caso você tenha muitos EBS como eu.

Utilizamos uma estratégia de backup simples, porém poderosa: crie uma nova AMI com base na execução de instâncias do EC2 EBS duas vezes no dia e exclua as AMIs "antigas". Através da API (CreateImage), você pode definir o sinalizador não reinicializar a instância ao criar uma nova AMI ou, se você usar o software raid - ssh para instância antes da API da CreateIImage chamar e congelar o sistema de arquivos com "fsfreeze" nos sistemas de arquivos mais populares em novos kernels ou xfs_freeze se você usa kernel e xfs mais antigos.

A AMI de “backup” criada lembra de todos conectados aos discos EBS da instância em execução original (por meio de links para instantâneos criados) e, no caso de usar ataques de software com vários discos, permite restaurar uma nova instância em qualquer AZ simplesmente com uma chamada de API ou pela Web -interface.