Os discos rígidos de classe de consumidor são adequados para zfs?

Acabei de comprar um novo servidor, um HP DL380 G6. Substituí o controlador p410 de matriz inteligente de estoque por um LSI 9211-8i.

Meu plano é usar o ZFS como o armazenamento subjacente do XEN, que será executado no mesmo baremetal.

Foi-me dito que você pode usar discos SATA com os controladores de matriz inteligente, mas como as unidades consumidoras não possuem TLER, CCTL e ERC, isso não é recomendado. É esse o caso?

Eu queria saber se, usando o controlador LSI no JBOD (modo de passagem RAID), o tipo de disco que eu uso realmente tem tanto impacto quanto teria com o controlador de matriz inteligente?

Estou ciente de que tentar usar um sistema RAID não suportado por um cache de gravação para virtualização não é bom para o desempenho. Mas eu estava adicionando um SSD para o ZFS. Isso faria alguma diferença?

O motivo pelo qual estou tão obcecado em usar o ZFS é para desduplicação e compactação. Eu não acho que o controlador de matriz inteligente possa executar qualquer um desses recursos.

— ianc1215
fonte

O uso de mergulhos SATA do consumidor em um servidor nunca é recomendado. Mas suspeito que os motivos não sejam necessariamente direcionados pelas estatísticas de confiabilidade. Existe uma quantidade crescente de pesquisas disponíveis que apóiam essa afirmação; portanto, vá em frente e use discos de consumidor se estiver preparado para correr o risco.

— Matt

Consulte as práticas recomendadas do ZFS com RAID de hardware . Você pode executar o ZFS em cima de uma unidade lógica fornecida pelo controlador Smart Array. Na configuração que você descreve, um SSD para ZFS provavelmente não ajudará muito. A compactação no ZFS é ótima. A desduplicação no ZFS não é .

— ewwhite

Respostas:

Por favor, não faça isso.

Se você estiver executando o ZFS no Linux, faça isso sem a necessidade de uma camada de virtualização. As soluções de virtualização e ZFS completas são simples , mas não vale a pena o esforço de produção.

No que diz respeito às unidades, você pode usar discos SATA em um controlador HP Smart Array e no controlador LSI 9211-8i. Em uma configuração do ZFS, uma falha nos discos SATA pode ter um efeito adverso no sistema ao executar com o controlador LSI.

Usar discos de consumo é exatamente o que é. Entre nele conhecendo as advertências.

Editar:

Então, você deseja executar um sistema de arquivos ZFS para fornecer armazenamento para máquinas virtuais locais?

O HP Smart Array P410 é um bom controlador RAID. Mais importante ainda, o seu provavelmente possui um cache de gravação com bateria ou com flash. Isso é importante para fins de desempenho. Conseguir a mesma coisa corretamente no ZFS ( usando o ZIL ) é muito mais caro e requer mais pensamento de engenharia . O ZFS pode não oferecer muito sobre um sistema de arquivos tradicional como o XFS para esse fim específico.

Isso seria diferente se você estivesse usando o ZFS em um servidor dedicado para fornecer armazenamento a outros hipervisores.

Consulte: Práticas recomendadas do ZFS com RAID de hardware

— ewwhite
fonte

Eu não acho que minha pergunta foi clara. Não estou executando o ZFS em uma máquina virtual. Estou executando o ZFS no metal puro. Fornecerá armazenamento para minhas máquinas virtuais. Quanto à placa de ataque, disseram-me que o uso de uma placa de ataque HP "oculta" as unidades bare metal e torna o ZFS menos eficaz. É esse o caso?

— Ianc1215

@Solignis Veja minha edição acima.

— ewwhite

Sim armazenamento local em um servidor xen. A razão pela qual eu estava procurando usar o controlador lsi é que ele suporta jbod. A matriz inteligente não.

— Ianc1215

@Solignis Novamente, o controlador LSI e o ZFS não oferecem benefícios para o seu caso de uso. Você não terá cache de gravação, o que é MAU para virtualização. Você precisará usar o software RAID para inicializar o sistema e provavelmente dedicar discos físicos para a inicialização. Realmente não vale a pena. Você pode executar o ZFS no RAID do hardware, usando um único dispositivo, mas realmente precisa ter um motivo específico para precisar do ZFS. Veja esta pergunta: serverfault.com/questions/545252/…

— ewwhite

Eu concordo com ewwhite. O ZFS no Dom0 não oferece nenhum benefício real e provavelmente prejudicará muito o desempenho.

— Matt

O uso de discos de nível de consumidor no servidor de nível de HW é possível, embora não seja recomendado se você for usar o suporte do fornecedor. Eles vão ficar malucos por que você substituiu as unidades perfeitamente suportadas por outras não suportadas. Além disso, não há problema em fazê-lo e o backblaze o comprovou ( http://www.getoto.net/noise/2013/11/12/how-long-do-disk-drives-last/ ).

Quanto à seleção de unidades, procure unidades compatíveis com NCQ e você deve estar bem.

O uso das unidades no modo JBOD está causando problemas. Muito possivelmente, o controlador LSI mostrará apenas um grande disco (e você não deseja isso). O que você precisa é o modo de passagem (basicamente use o controlador como extensor para a contagem de portas. Verifique se é esse o caso.

ZFS no Linux: não é uma idéia estelar. Ainda não é estável o suficiente, embora seja utilizável. Desduplicação no zfs: um grande não, se você estiver planejando executar uma carga séria na máquina. Ele tende a consumir muita memória RAM (na faixa de 2-4 G para cada 200-500 GB de dados deduplicados). Pode ter melhorado, mas não foi verificado em breve. A compactação pode ser uma boa opção, embora dependa dos dados.

SSD: Sim, fará uma grande diferença. Existem várias áreas (o ZIL já foi mencionado acima) que melhorarão bastante se colocadas em um disco separado (e se estiverem no SSD ainda mais).

Se você é inflexível no ZFS, sugiro usar o solaris / nexenta / opensolaris ou o BSD para o host de armazenamento e depois exportá-lo para os hosts XEN sobre iscsi / ata-over-eternet / etc.

Eu sugiro fortemente que pelo menos vasculhe o blog backblaze e procure as idéias que eles estão usando na construção de seus PODs

— zeridon
fonte

O ZFS no Linux é bastante estável, mas há indulgência nas práticas recomendadas do ZFS. Você ainda precisa planejar e projetar de acordo. Os controladores RAID de hardware são mais tolerantes.

— ewwhite

Tanto quanto eu quero usar o ZFS para seus recursos. Todos os argumentos apresentados são muito bons. Se eu tivesse outro servidor, configuraria um destino iSCSI, mas meu orçamento para equipamentos pessoais é baixo, pois isso não está relacionado a um negócio. Obrigado pela compreensão.

— ianc1215

Eu tenho um sistema com o controlador exato mencionado pelo OP (LSI 9211-8i SAS HBA), com firmware IR (eu pretendia relançá-lo para o firmware de TI, mas nunca cheguei a isso, e funciona bem mesmo). Sem nenhuma configuração específica, ele atua apenas como um HBA comum e passa os discos individuais para o sistema operacional. Ele pode ser configurado para apresentar volumes RAID, mas não o faz sem ser informado.

— um CVn