Adicionando armazenamento de 60 TB a um servidor SLES 10

Eu tenho que adicionar algum armazenamento de armazenamento \ archive em um servidor SLES 10. O requisito é apresentar volumes razoavelmente grandes (9 a 20 TB cada, aproximadamente 60 TB no total) que serão usados ​​para armazenar dados de arquivo (literalmente, isso é para uma biblioteca) que compreende grandes arquivos de imagem (150Meg Tiff's na maior parte) e grandes tarballs. Os dados serão predominantemente tendenciosos para leitura de E / S, certamente> 95% e provavelmente acima de 99%.

O armazenamento já foi adquirido - uma matriz Dell MD3000 SAS encadeada com 2 MD1000 totalmente preenchidos com unidades SATA de 2 TB e 7200 RPM, total de 45 unidades. A pilha de matrizes é conectada usando dois adaptadores SAS externos de duas portas, ou seja, existem 4 caminhos para a pilha.

Minha intenção é configurá-los como um conjunto de 4 volumes em quatro grupos RAID com um hot spare por array. Todos os grupos serão RAID 6 com 7 ou 14 unidades, e cada grupo RAID será apresentado como um único LUN usando toda a capacidade desse grupo. No lado do SLES, eles precisam ser formatados como volumes XFS.

Tenho experiência limitada com SLES (e Linux em geral) e estou procurando algumas recomendações sobre isso, especificamente:

1. Existem itens específicos a serem tomados com cuidado ao configurar volumes XFS desse tamanho no SLES 10, ou seja, as configurações padrão serão válidas, dado o perfil de E / S?
2. Qual é a melhor maneira de inicializar \ particionar \ formatá-las? Usei o Parted para definir um rótulo de disco e o YAST Partition Manager (aceitando todos os padrões) para criar e formatar o volume XFS para o meu teste inicial.
3. Como configuro caminhos múltiplos? Quando apresento um volume de teste inicial, ele aparece como quatro dispositivos separados (/ dev / sdl, / dev / sdm, / dev / sdn e / dev / sdn). O que faço para trabalhar com isso como um único volume?
4. No meu teste inicial, estou vendo taxas de transferência de um volume existente do EMC Clariion SAN de cerca de 30Meg / s. Isso é muito menor do que eu esperava, mesmo considerando a penalidade de gravação do RAID 6 que eu esperava ver algo no estádio de 70-100Meg / s.
5. Como posso saber se está tudo bem - onde devo procurar erros \ avisos etc? O editor de partições YAST leva muito tempo para ser lançado, por exemplo, e eu gostaria de entender o porquê.
6. Você particionaria isso de maneira diferente e \ ou usaria um sistema de arquivos diferente? Se sim, por quê?

O servidor é um Dell 2950 - não verifiquei as especificações detalhadas, mas o topo mostra a utilização pairando nos dígitos de um dígito baixo, no máximo.

No meu trabalho anterior, tivemos um problema semelhante. Estávamos produzindo planetários e cada quadro tinha 64 MegaPixels. Muitas imagens grandes. Eles seriam processados ​​para cada teatro em uma operação de leitura muito agressiva em um cluster de computadores.

O servidor nesse caso teve uma configuração de armazenamento semelhante. Múltiplas matrizes RAID externas conectadas diretamente. Cada um deles estava em volumes RAID6 expostos ao host e adicionados a um VG (Grupo de volumes) no LVM (Logical Volume Manager). Cada programa / produção obteria seu próprio LV (Logical Volume), XFS formatado, que cresceríamos com o projeto conforme necessário.

Se seus conjuntos de dados são bastante estáticos ou crescem de maneira previsível como essa, essa abordagem deve funcionar bem para você. Mas tenha cuidado, pois essa abordagem tem uma desvantagem. Você acaba tendo que microgerenciar os LVs em seu armazenamento. Alguns administradores preferem assim, mas outros tentam evitá-lo. Mas isso permite aumentar cada sistema de arquivos LV e XFS à medida que o conjunto de dados cresce. Mantenha seus volumes XFS o menor possível para que você não fique preso a um fsck que leva anos para ser concluído. E pode atuar como controle de danos caso um sistema de arquivos vá para o sul.

Isenção de responsabilidade: Se eu configurasse isso hoje, usaria o OpenSolaris e o ZFS. Principalmente b / c, evita os problemas de micro gerenciamento e é um sistema de arquivos / gerenciador de volume superior. Então você pode querer dar uma olhada nisso também.

Eu estaria muito mais incluído para comprar mais discos e o RAID 10 deles.

Eu tive problemas terríveis com centenas de discos de 1 TB FATA (SATA anexado a fibra) que compramos há algum tempo, esses são £ 1k cada e estou perdendo 5% por mês! Basicamente, eles não foram projetados para um ciclo de trabalho 24x7 e, por isso, recomendo o R10.

O RAID6 é um passo na direção certa, mas se você tiver a capacidade, eu deixaria pelo menos um disco de lado como hot-spare - se um disco morrer em qualquer lugar do seu array, ele entrará e será listrado enquanto espera por você. substitua o disco com falha. Sobre esse assunto, verifique se você tem pelo menos 2 ou 3 discos sobressalentes prontos para substituição no local e também se tem toda a configuração de alerta para avisar quando houver um problema 24x7.

Quanto ao desempenho, bem, esses discos de 2 GB não são tão desleixados para um disco de 7.2k e o SAS pode ser muito rápido, então eu esperaria que os 70MBps para leituras sequenciais que você mencionou - obviamente randoms e gravações serão muito baixos.

Desculpe se pareço negativo, mas luto com armazenamento há anos e só consigo dormir com facilidade com sistemas de disco corporativos - acabei de fazer muitos turnos de 48/72 horas consertando equipamentos de última geração.