Configuração de disco Hadoop JBOD no controlador de disco HP Smart Array 410 / i

Estou em uma fase de avaliação de alguns hw que podem ser usados ​​para configurar um cluster hadoop. Este hw foi reformado (servidores hp G6 com controlador Smart Array 410 / i) e provavelmente devemos / devemos usá-lo ... ainda não o temos. Eu li que o controlador 410 / i não permite uma configuração JBOD conforme exigido pelo hadoop, existe alguém que possa confirmar esta declaração? Ou não ? Parece que uma solução alternativa poderia ser configurar o raid0 em cada disco, novamente alguém o confirma ou há outras formas de configuração? Obrigado Rob

O controlador Smart Array 410 / i permite apenas a criação de 2 dispositivos raid sem o cartão de memória opcional adicionado a ele. Portanto, se o seu hardware tiver apenas 2 unidades, tudo bem; você pode apenas fazer 2 raid0's. Se você tiver mais de 2 unidades, provavelmente precisará adquirir a peça nº 462974-001 - Módulo de memória BBWC de cache de gravação com 256 MB de bateria. Se você não tiver certeza, tente no utilitário de configuração, queixará-se de que há um limite no número de dispositivos de ataque configurados permitidos se você precisar comprar o complemento de memória.

Recentemente, configurei um servidor ZFS utilizando um desses e 12 discos no modo RAID0 para cada um e ele funciona bem. Como você pode desativar praticamente todos os recursos do controlador RAID real, é efetivamente o mesmo que o modo JBOD.

Essa situação é semelhante à que encontro ao projetar hardware para soluções de armazenamento ZFS. O ZFS é um RAID de software e aproveita os recursos do servidor para gerenciamento de disco. O RAID de hardware não é recomendado e o JBOD não é realmente possível com os controladores Smart Array. Portanto, ao usar os sistemas ProLiant para ZFS, substituo o controlador Smart Array por algo que tenha um modo JBOD ou um HBA SAS / SATA básico.

Normalmente, este será um HBA SAS LSI (sem recursos RAID). Minha preferência é a LSI 9211-8i ou 9205e.

Consulte as recomendações em: Recomendações do controlador ZFS SAS / SATA

Embora o intervalo Pxxx não permita a configuração direta do JBOD, se você apenas criar uma matriz em todos os seus discos e criar várias matrizes RAID0 de tamanhos equivalentes, estará praticamente em termos de similaridade funcional. Dito isso, também sou um pouco duvidoso dos requisitos do Hadoop, primeiro não há como saber qual é a configuração real do disco, pois está oculta pelo BIOS e, em segundo lugar, porque parece excessivamente prescritiva, considerando o bom pensamento dos controladores HP, o que é o problema com a matriz gerenciando seus discos?

Você pode configurar o RAID0 por disco físico disponível.

Digamos que se você tem 8 discos, você acaba tendo algo assim (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)