ext3 fsck time versus tamanho da partição

Estou fazendo a configuração de um farm de armazenamento em larga escala e, para evitar a necessidade de fscks de um mês, meu plano é dividir o armazenamento em vários sistemas de arquivos menores (isso é bom, pois tenho uma árvore de arquivos bem compactada) , de modo que pode facilmente ter sistemas de ficheiros separados montados em 1/, 2/, 3/, 4/, etc.).

Minha dificuldade está em encontrar qualquer enumeração do tamanho "razoável" de um sistema de arquivos, para manter os tempos de fsck da mesma forma "razoáveis". Embora eu esteja ciente de que o tempo absoluto para um determinado tamanho dependerá em grande parte do hardware, não consigo encontrar nenhuma descrição da forma da curva para os tempos ext3 fsck com tamanhos variados de sistema de arquivos e quais são as outras variáveis ​​( um sistema de arquivos cheio de arquivos em um único diretório leva mais de um com 10 arquivos em cada um dos milhares de diretórios de uma árvore; arquivos grandes versus arquivos pequenos; sistema de arquivos completo versus sistema de arquivos vazio; e assim por diante).

Alguém tem referências a números bem pesquisados ​​sobre isso? Caso contrário, quaisquer histórias sobre esses problemas devem pelo menos ajudar a guiar minha própria experimentação, caso isso seja necessário.

EDIT : Para esclarecer: independentemente do sistema de arquivos, se algo der errado com os metadados, ele precisará ser verificado. Se os re-fscks baseados em tempo ou montagem estão ativados ou necessários, não está em questão, e a única razão pela qual estou pedindo números especificamente a respeito do ext3 é porque esse é o sistema de arquivos mais provável a ser escolhido. Se você conhece um sistema de arquivos que possui um processo fsck particularmente rápido, estou aberto a sugestões, mas ele precisa ser uma opção robusta (as alegações de que "o sistema de arquivos X nunca precisa ser fscking!" Serão ridicularizadas e ridicularizadas) . Também estou ciente da necessidade de backups, e o desejo de fsck não é um substituto para os backups, no entanto, apenas descartar o sistema de arquivos e restaurar o backup quando ele falha, em vez de fscking, parece realmente um,

De acordo com um artigo de Mathur et al. (p. 29), o tempo do e2fsck cresce linearmente com a quantidade de inodes em um sistema de arquivos após um determinado ponto. Se o gráfico é algo que você precisa, você é mais eficiente com sistemas de arquivos de até 10 milhões de inodes.

Mudar para ext4 ajudaria - sob a condição de que seu sistema de arquivos não seja carregado até a borda, onde o ganho de desempenho (devido à verificação de inodes marcados como não utilizados) não tem efeito discernível.

Eu acho que você terá que fazer seu próprio benchmarking. Uma pesquisa rápida no google não revelou nada, exceto que o ext4 fscks é muito mais rápido que o ext3.

Portanto, crie algumas partições ext3, 100 GB, 200 GB, etc. até o tamanho do disco que você usará. Em seguida, preencha-os com dados. Se você puder usar dados que se assemelhem aos dados de produção (arquivos por diretório, distribuição de tamanho de arquivo etc.), isso será o melhor. Observe que a simples cópia de arquivos de outra partição ou dispositivo de backup os colocará no disco perfeitamente disposto e desfragmentado e, portanto, seus testes não terão muito tempo de busca na cabeça do disco que ocorrerá com muitas gravações / modificações / exclusões.

Você também precisará pensar um pouco sobre fscks paralelos. Veja os últimos campos em / etc / fstab. Partições no mesmo disco físico devem ser feitas em sequência; vários discos no mesmo controlador podem ser executados em paralelo, mas tome cuidado para não sobrecarregar o controlador e atrasá-los.

http://lmgtfy.com/?q=fsck+benchmark

parece que o fsck nos sistemas de arquivos ext4 é significativamente mais rápido que no ext3, com alguns relatórios do ext4 fsck sendo 10 ou até mais vezes mais rápidos que o ext3.

dois artigos bastante interessantes dessa pesquisa são:

http://thunk.org/tytso/blog/2008/08/08/fast-ext4-fsck-times/ ehttp://thunk.org/tytso/blog/2009/02/26/fast-ext4-fsck-times-revisited/

existe alguma razão pela qual você não pode usar um sistema de arquivos que não force o tempo ou fscks baseados em contagem de montagem quando reinicializar?

(os fscks baseados no tempo realmente me incomodam - para um servidor de tempo de atividade, ele praticamente garante que você terá que executar um fsck completo sempre que atualizar o kernel).

de qualquer maneira, o XFS é um dos sistemas de arquivos com registro em diário que não força um fsck. vale uma olhada.