ZFS - Impacto da falha do dispositivo de cache L2ARC (Nexenta)

Eu tenho um servidor HP ProLiant DL380 G7 sendo executado como uma unidade de armazenamento NexentaStor . O servidor possui 36 GB de RAM, 2 controladores LSI 9211-8i SAS (sem expansores SAS), 2 unidades de sistema SAS, 12 unidades de dados SAS, um disco hot-spare, um cache Intel X25-M L2ARC e um acelerador DDRdrive PCI ZIL. Este sistema atende o NFS a vários hosts VMWare. Eu também tenho cerca de 90 a 100 GB de dados desduplicados na matriz.

Eu tive dois incidentes em que o desempenho diminuiu repentinamente, deixando os convidados da VM e os consoles Nexenta SSH / Web inacessíveis e exigindo uma reinicialização completa da matriz para restaurar a funcionalidade. Nos dois casos, foi o SSD Intel X-25M L2ARC que falhou ou foi "off-line". O NexentaStor falhou ao me alertar sobre a falha no cache, no entanto, o alerta geral do ZFS FMA estava visível na tela do console (sem resposta).

insira a descrição da imagem aqui

A zpool statussaída mostrou:

  pool: vol1
 state: ONLINE
 scan: scrub repaired 0 in 0h57m with 0 errors on Sat May 21 05:57:27 2011
config:

        NAME                        STATE     READ WRITE CKSUM
        vol1                        ONLINE       0     0     0
          mirror-0                  ONLINE       0     0     0
            c8t5000C50031B94409d0   ONLINE       0     0     0
            c9t5000C50031BBFE25d0   ONLINE       0     0     0
          mirror-1                  ONLINE       0     0     0
            c10t5000C50031D158FDd0  ONLINE       0     0     0
            c11t5000C5002C823045d0  ONLINE       0     0     0
          mirror-2                  ONLINE       0     0     0
            c12t5000C50031D91AD1d0  ONLINE       0     0     0
            c2t5000C50031D911B9d0   ONLINE       0     0     0
          mirror-3                  ONLINE       0     0     0
            c13t5000C50031BC293Dd0  ONLINE       0     0     0
            c14t5000C50031BD208Dd0  ONLINE       0     0     0
          mirror-4                  ONLINE       0     0     0
            c15t5000C50031BBF6F5d0  ONLINE       0     0     0
            c16t5000C50031D8CFADd0  ONLINE       0     0     0
          mirror-5                  ONLINE       0     0     0
            c17t5000C50031BC0E01d0  ONLINE       0     0     0
            c18t5000C5002C7CCE41d0  ONLINE       0     0     0
        logs
          c19t0d0                   ONLINE       0     0     0
        cache
          c6t5001517959467B45d0     FAULTED      2   542     0  too many errors
        spares
          c7t5000C50031CB43D9d0     AVAIL   

errors: No known data errors

Isso não acionou nenhum alerta da Nexenta.

Fiquei com a impressão de que uma falha do L2ARC não afetaria o sistema. Mas, neste caso, certamente era o culpado. Eu nunca vi nenhuma recomendação para o RAID L2ARC. Remover completamente o SSD com defeito do servidor me fez voltar a funcionar, mas estou preocupado com o impacto da falha do dispositivo (e talvez também com a falta de notificação do NexentaStor).

Editar - Qual é o SSD de melhor escolha atual para aplicativos de cache L2ARC atualmente?

— ewwhite
fonte

É possível que sua porta SSD ou SATA esteja com problemas de hardware?

— precisa saber é o seguinte

É um backplane HP SAS. Nunca vi uma falha ou tenho problemas em muitas implantações (Linux), mas tenho certeza de que a falha é uma função do SSD de classe de consumidor em vigor. Posso aceitar a falha, mas o impacto nos discos restantes e no sistema geral de armazenamento é o maior problema.

— ewwhite

Notavelmente, o Pogo Linux (que entendo ser o maior integrador / revendedor da Nexenta) não oferece mais dispositivos Intel X25 como uma opção para L2ARC ou ZIL devido a problemas com versões posteriores do firmware da Intel.

— Skyhawk

E a substituição recomendada é (marca, modelo, preço)?

— ewwhite

A propósito, a nova série Intel 320 pode ser interessante tentar como um dispositivo L2ARC ou até ZIL: é suportada por capacitor e, embora a resistência de gravação seja limitada (até 60 terabytes, dependendo do modelo), a porcentagem de desgaste restante pode seja rastreado usando o atributo SMART E9 (começa em 100 e conta até 1). Suspeito que muitos usuários do ZFS possam substituir esse dispositivo com a freqüência necessária para impedir que o E9 se aproxime de 1, sem que a despesa cumulativa se aproxime do custo de uma unidade SLC de tamanho comparável.

— Skyhawk

Respostas:

O ZFS não faz E / S de disco, os drivers de dispositivo abaixo do ZFS fazem E / S de disco. Se o dispositivo não responder em tempo hábil ou, como neste caso, interromper todos os outros dispositivos no expansor, não será visível como uma falha no ZFS. Tudo o que o ZFS vê é uma E / S lenta.

Há um erro no firmware Intel X-25M que afeta seu comportamento durante cargas pesadas e pode causar tempestades de redefinição. Esse problema afeta todos os sistemas operacionais e não pode ser resolvido na camada do sistema operacional. Entre em contato com o seu fornecedor de hardware para correções ou correções.

Se uma leitura deve ser satisfeita pelo L2ARC, a leitura será tentada lá. O ZFS depende dos drivers da camada inferior para relatar um erro. Nesse caso, a unidade continua a redefinir e tentar novamente por até 5 minutos antes de declarar a E / S como falhada, dependendo do driver, dispositivo e configurações de tempo limite padrão. Somente depois que os drivers da camada inferior declararem a E / S com falha, o ZFS tentará novamente no pool.

Os corredores de verificação de volume e disco do NexentaStor procuram mensagens de erro adicionais e o alertam por e-mail e registro de falhas. O executor de verificação de disco foi aprimorado na versão 3.1 para ajudar a alertá-lo especificamente sobre as condições exibidas por firmware quebrado nos SSDs.

Conclusão: seu hardware está com defeito e precisará ser consertado ou substituído.

— Richard Elling
fonte

Obrigado. Portanto, não vou mais usar o Intel X-25. Eu gostaria de uma recomendação testada para um novo dispositivo SSD L2ARC para substituí-lo.

— ewwhite

Você está conectando o SSD X25-M ao backplane? Há um problema conhecido com a Nexenta e o acesso ao L2ARC através de um backplane. Sua melhor aposta é conectar o SSD diretamente a uma porta SATA na placa-mãe. Verifique se ele está configurado para usar o AHCI também.

Se você estiver executando algo de missão crítica neste servidor, eu mudaria para um SSD SLC (como o X25-E ou um STEC SSD). Dito isto, você provavelmente estará bem com o X25-M, se não estiver.

— zippy
fonte

Sim, estou me conectando através de um compartimento de unidade normal. Tenho outras instalações com o mesmo SSD Intel em execução como L2ARC (no hardware Sun e HP). Este em particular me deu problemas, no entanto. Minha pesquisa pareceu indicar que o L2ARC não precisava ser tão robusto quanto o ZIL (daí o uso de soluções ZIL baseadas em SLC e PCI e uma unidade de consumidor para o L2ARC). Isso mudou?

— ewwhite

Eu tentaria conectar o SSD diretamente à placa-mãe e ver se isso funciona. Se você tiver um X25-M de reposição, tente substituir o atual e verifique se o próprio SSD está com defeito. No SSD do SLC: depende do seu nível de risco. Se você estiver executando um software em um SLA que nunca pode ser desativado e precisa ser executado rapidamente, pode ser mais barato comprar um SSD de última geração.

— zippy

Estou tentando dizer que o Intel X25-M foi recomendado para L2ARC na maioria dos artigos e discussões que vi online. Se esse não for mais o caso, qual é o dispositivo preferido?

— ewwhite

@ewwhite: Em teoria, uma falha de um dispositivo L2ARC não deve causar interrupções porque o ZFS pode voltar a ler o disco (obviamente, o desempenho seria prejudicial). Na prática ... bem, parece que você encontrou um bug do driver ZFS ou scsi que é acionado pelo comportamento do SSD.

— Tom Shaw

@whwhite: Eu provavelmente deveria te dar alguns conselhos mais práticos. Se você deseja gerar um despejo de falha do sistema na próxima vez que o sistema for realizado, siga as instruções aqui . Esse tipo de despejo pode ser útil para os desenvolvedores do Illumos.

— Tom Shaw

Ed, existem vários que você pode usar variando de preço relativamente razoável a muito caro. Prefiro implantar SSDs SAS em todos os casos e me saí muito bem com o STEC e o Pliant. Agora, ambos oferecem uma unidade MLC que funcionará famosamente com um dispositivo L2ARC. Ainda não testado, mas em breve a oferta de SSD da Seagate é o SLC SAS 2.0 e, segundo rumores, "não é caro". Fique ligado....

-PB

— PauleyB
fonte