Investigando além do RAID para cluster de disco em um servidor, o Dynamic Disk Pool é comparável? [fechadas]

Com o desenvolvimento de sistemas hiperconvergentes, podemos ver outra tecnologia além do RAID para lidar com armazenamento distribuído (como ceph, por exemplo, ou VSAN ou armazenamento distribuído, como na nutanix).

Mas existe uma tecnologia de código aberto derivada do armazenamento de objetos que eu posso usar em um único servidor com muito disco grande, digamos uma dúzia de 12Para disco sata, que garantirá a segurança dos dados, mas sem a desvantagem do enorme tempo de reconstrução ao substituir um disco. Portanto, o Dynamic Disk Pool é uma forma de RAID des clusterizado que pode ser usado no nível do bloco, como iscsi, ou no sistema de arquivos, como zfs ou brtrfs.

Gostaria de fornecer algo semelhante em recurso a um compartimento SYNOLOGY (NFS, iscsi target, SMB), mas sem RAID para o armazenamento em bloco.

obrigado por suas indicações.

raid hard-drive storage

— dominix
fonte

Você considerou (por exemplo) um array RAID 5 com uma sexta unidade como hot spare?

— Mike Waters

Todo mundo recomenda não usar RAID5 para grandes volumes. Btw raid5 não significa 5 discos. Mas sim, o hot spare é recomendado, no entanto, eu já tive problemas com o hot spare, às vezes o hot spare morreu porque eles estavam girando há anos antes de serem usados.

— dominix 19/05/19

Você precisa de mais discos. A única solução para reconstruir o atraso é mais redundância. Também apagar códigos.

— Dan D.

Respostas:

Para um sistema único, eu realmente sugeriria manter as matrizes RAID conhecidas e executadas. Os armazenamentos de objetos têm uma penalidade significativa de desempenho em comparação com o acesso clássico de bloco / arquivo e, se você não expandir, perde muitos dos benefícios.

Dito isto, excluindo o RAID clássico, você tem as seguintes possibilidades:

sem medo , que usa uma abordagem de replicação em nível de arquivo em vez de uma abordagem em nível de bloco
glusterfs , configurando um bloco diferente para cada disco e aplicando uma replica 2política
zfs que, embora baseados em blocos, não são 100% idênticos ao RAID de software ou hardware clássico

Observe também que o armazenamento de objetos não garante menor tempo de reconstrução; pelo contrário, trata de reconstruções longas, garantindo políticas de replicação mais fortes (ou seja: replica 3em diferentes racks).

— shodanshok
fonte

A grande vantagem do ZFS no meu livro é que ele pode realmente dizer quais arquivos, se houver, foram corrompidos; e se você é capaz de lê-los, sabe que eles não estão corrompidos. (Exceto se você tiver feito zfs set checksum=off, mas não consigo imaginar por que alguém executaria o ZFS e faria isso.) Mesmo redundância de armazenamento ausente, essa pode ser uma grande vantagem, pois você saberá exatamente qual dos seus chefes ... , planilhas importantes ... precisam ser restauradas do backup.

— um CVn

"que garantirá a segurança dos dados, mas sem a desvantagem do enorme tempo de reconstrução ao substituir um disco"

Você tem uma ilusão de achar que o software pode mudar a realidade - ou seja, a física. Os tempos de reconstrução de Hugh se resumem basicamente à necessidade de gravar um disco compelido e, se você escrever 2 TB de informações em um disco, isso leva muito tempo, porque é assim que os discos se comportam. Especialmente se você PRECISA ler vários discos para obter os dados ausentes no primeiro pleace (Raid 5,6 analógico). Há detalhes em como o software "estúpido" pode ser (por exemplo, adicione tempo além do mínimo físico), mas o mínimo já é de horas se você falar de discos grandes e lentos SATA.

Todas as outras tecnologias mencionadas devem aderir ao mesmo grande período problemático que você deseja evitar, porque - física.

E não ajuda que sua rede de cluster - se você fizer a replicação da rede - esteja usando 10g ou menos (que é o caso mais provável) em vez de usar 40g ou 100g.

— TomTom
fonte

Meu empregador cria um analisador de rede que é essencialmente um PC padrão com NICs padrão de 2 * 100 GbE que analisa o tráfego de streaming de vídeo não compactado em tempo real. Portanto, não é totalmente estranho, mas pragmaticamente, sim, as velocidades da rede provavelmente serão um gargalo adicional.

— Jörg W Mittag

Bem, meus servidores hoje têm 2x100gb de nic - mas o departamento de TI do meu principal cliente vende velocidade de rede de 1gb (!) Como "alto desempenho". O mundo parece rodar em propulsores que nem sabem o que é high-end.

— TomTom

O tempo de reconstrução não seria drasticamente reduzido se todos os discos fossem SSD?

— Mike Waters

Depende. Ok, não - sim, seria reduzido, mas o SATA também atinge 600mb / se, se você executar uma rede hiperconvergente, isso também significa que ele deve passar pela rede. E você nem precisa de todo o SSD - um cache SSD decente também deve ajudar na leitura e gravação (eu uso o cache SSD de 3,6 GB em todos os servidores). Mas realmente você precisa de uma espinha dorsal para lidar com isso, então.

— TomTom

Mike disse SSD, não SATA. Existem alguns SSDs conectados ao PCIe que são mais rápidos que 600 MB / s.

— Peter Cordes