Escolhendo o sistema de arquivos para um ataque de 16 TB

Estou apenas montando uma máquina com oito discos de 2 TB.

Eu usarei o Raid 6 (12 TB de capacidade útil) em cima deles, mas não tenho certeza se devo fazer o LVM sobre o RAID ou qual sistema de arquivos usar.

Quais sistemas de arquivos podem ser redimensionados quando usados no LVM?

filesystems lvm raid

— Šimon Tóth
fonte

Para responder sua pergunta literal: as mesmas que podem ser redimensionadas quando não usadas no LVM. O LVM não é relevante para essa opção, a menos que você use um sistema com funcionalidade integrada (que atualmente significa ZFS; e IIRC ZFS também possui RAID-6).

— Gilles 'SO- stop be evil'

Com o lvm em cima de um dispositivo raid, você é flexível para criar vários dispositivos virtuais (e sistemas de arquivos) nele. E você é flexível para alterar o tamanho desses dispositivos.

Se você tem 100% de certeza de que não precisa disso e precisa apenas de um grande sistema de arquivos, pode criar diretamente o sistema de arquivos no seu dispositivo de ataque. Uma camada de indireção e complexidade é removida nesse caso.

Para escolher um sistema de arquivos, os pontos mais importantes são:

deve ser bem testado e estável
deve ser mainstream o suficiente
bom desempenho é claro

Isso significa que geralmente é conservador quando se trata de sistemas de arquivos.

Usando esses critérios, você tem basicamente três opções no Linux (a partir de 2011-06:

ext3
ext4
xfs

Em grandes dispositivos, uso xfs porque a mkfs.xfsé muito mais rápido.

Todos esses sistemas de arquivos podem ser redimensionados.

Atualizar:

Fiz uma pequena referência em um dispositivo de 3 TB (usando tamanho de bloco de 4k em todos os sistemas de arquivos):

$ awk -F\; -f mkfs.awk mkfs
          FS     SIZE(TB)      TIME(S)      RSS(MB)      SPEEDUP      SPACEUP
        ext3            1          217           37         1.00         1.00
        ext3            2          478           74         1.00         1.00
        ext3            3          829          111         1.00         1.00
        ext4            1          139           37         1.55         1.00
        ext4            2          298           74         1.60         1.00
        ext4            3          515          111         1.61         1.00
         xfs            1            5            2        43.23        17.01
         xfs            2            9            2        51.43        33.49
         xfs            3           15            2        54.73        50.05

(A velocidade / mem-up é contra ext3)

(Sistema: Debian 6.0 amd64, mkfs.ext 1.41.12, mkfs.xfs 3.1.4, unidade WD SATA, hdparm -t leituras de disco em buffer de cerca de 120 MB / s)

Isso significa que mkfsing um sistema de arquivos ext [34] é até 54 vezes mais lento que mkfsing um sistema xfs. Aproximar isso a uma TB de 12 TB criando um ext fs realmente levaria cerca de uma hora (xfs apenas cerca de um minuto).

— maxschlepzig
fonte

Também gosto do XFS, mas não parece meio bobo escolher o sistema de arquivos apenas por causa da velocidade do formato inicial?

— Caleb

Pode ser interessante notar que, se você planeja aumentar seu RAID posteriormente, o ext4 é limitado ao volume de 16TiB (de acordo com a wikipedia ).

— Gert

@ Caleb, bem, se demorar, digamos, mais horas e outros recursos não fizerem diferença no caso de uso do sistema, será a única diferença que conta. Farei um pequeno benchmark mkfs em um dispositivo de 3 TB - talvez o @Let_Me_Be possa fazer um também em seu sistema - isso seria interessante.

— maxschlepzig

@ Gert: Não, a limitação está na versão atual do ext2progs- o formato Ext4 suporta volumes de até 1 exabyte de tamanho.

— Teddy

As versões recentes do mkfs.ext4 são MUITO mais rápidas, pois agora atrasam a maior parte da formatação a ser executada em segundo plano após a montagem. Também os tempos do fsck são um pouco mais rápidos no ext4 do que no ext3.

— Psusi

Na maioria das nossas caixas de produção com linux, usamos lvm + ext2 / ext3 depende se o cliente solicita o registro no diário / ext3 / ou não / ext2 /

No seu caso, eu iria desenvolver e desenvolver o lvm + ext2, a menos que você se beneficiasse com o registro em diário mais do que isso gera sobrecarga .. mas há mais a considerar precisamente como o maxschlepzig descreve .

— njekto
fonte