Como você cria sistemas de arquivos grandes, crescíveis e compartilhados no Linux na AWS?

Quais são as melhores maneiras aceitáveis / razoáveis / melhores de fornecer armazenamento compartilhado grande e expansível na AWS, exposto como um único sistema de arquivos?

Atualmente, estamos produzindo volumes de 1 TB EBS ~ exportando quinzenalmente e NFS com no_subtree_check e nohide. Nesta configuração, exportações distintas aparecem em uma única montagem no cliente. Esse arranjo não escala bem.

As opções que consideramos:

LVM2 com ext4. resize2fs é muito lento.
Btrfs no Linux. obviamente ainda não está pronto para o horário nobre.
ZFS no Linux. obviamente ainda não está pronto para o horário nobre (embora o LLNL o use)
ZFS no Solaris. o futuro desse combo é incerto (para mim) e o novo sistema operacional
glusterfs. ouvi principalmente boas, mas duas histórias assustadoras (e talvez antigas?).

A solução ideal forneceria compartilhamento, uma única visualização fs, fácil expansibilidade, instantâneos e replicação.

Obrigado por compartilhar idéias e experiências.

— Reece
fonte

Você já executou os números? Parece-me ser proibitivamente caro ...

— Michael Hampton

Boa pergunta. A resposta é meio que certa, mas chegamos cedo. Nossa necessidade de dados é alta e a necessidade de computação está cheia. Portanto, não está claro o que custa mais: AWS com armazenamento caro e solução de computação de pico mais barata ou local com computação cara e armazenamento mais barato. (Não estou nem convencido de que o custo de armazenamento totalmente carregado seja realmente mais barato.) Provavelmente armazenaríamos dados de arquivamento no Glacier para reduzir o custo (as restrições funcionam para nós).

— Reece

Não se esqueça dos custos de largura de banda.

— Michael Hampton

Sobre o ZFS, é Solaris ou FreeBSD, mas como você disse, o futuro é um tanto incerto para Solaris e o ZFS de código aberto está parado na versão 28 (qualquer que seja o SO).

— Ouki 25/10/12

E o XFS (sobre o LVM)? É mais maduro que o ext4 e existe a possibilidade de fazer dumps incrementais do sistema de arquivos. Você pode consultar o artigo da Wikipedia e os benchmarks em relação ao ext4 nele mencionado.

— peterph
fonte

Obrigado, Petr. Eu havia considerado (e esquecido) o combo LVM + XFS. Eu tenho um certo receio sobre o LVM2 e o XFS, principalmente em torno da incerteza e da nova complexidade operacional para nós. Não espero conseguir algo por nada (ou seja, armazenamento expansível sem esforço), mas gostaria de minimizar o esforço e o risco para nós. Por exemplo, qual é a implicação de perder um volume EBS que faz parte de uma matriz RAID1? Pode ser um problema, mas neste momento essas questões criam incerteza para mim. Em uma era de ZFS e btrfs, eu esperava contornar essa complexidade.

— Reece

A pergunta do @Reece é se você confia no mapeador de dispositivos - iirc, a maioria do LVM é na verdade ferramentas de espaço do usuário suportadas pelo dm. Você precisaria do kernel não muito antigo (2.6.33+ - veja wiki ).

— Peterph