Os dados do usuário são armazenados em dois clusters de armazenamento OpenStack Swift bastante grandes (> 1 PB). Sejam Cluster A e Cluster B .
Além disso, existem vários PoPs que precisam interagir com esses dados. Os servidores nesses PoPs são efetivamente sem disco, o que significa que nenhum dado do usuário é armazenado ou baixado para eles. Os PoPs podem ser agrupados em regiões gerais do mundo (por exemplo , América do Norte , África do Sul , Europa Central e outros).
Alguns PoPs estão bem distantes dos pontos de extremidade Swift de qualquer um dos clusters, introduzindo uma latência indesejável. Para mitigar um pouco isso, desejo configurar um servidor de gateway de cache em cada uma das regiões, que armazenará em cache as solicitações de r / w no cluster mais próximo.
Atualmente, os clientes em qualquer um dos PoPs acessam os dados do usuário por um sistema de arquivos virtual rápido montado permanentemente , que é um módulo FUSE que monta o Swift Object Storage como um dispositivo de bloco (mais ou menos). No entanto, o svfs não é tão estável em primeiro lugar e, no futuro, os clientes devem acessar os servidores de cache via NFS.
Este é um diagrama de um ramo da arquitetura desejada:
+------------------+ +------------------+ NFS +------------------+
| Cluster A | SVFS | Region 1 Cache +----------> R1 PoP a Client |
| +----------------> | | |
|Persistent Storage| |Ephemeral Storage+----+ |Generates R/W Load|
+-----------------++ +------------------+ | +------------------+
| |
| +------------------+ | NFS +------------------+
| SVFS | Region 2 Cache | +-----> R1 PoP b Client |
+-----------------> | | |
|Ephemeral Storage| |Generates R/W Load|
+------------------+ +------------------+
Eu estou familiarizado com o básico da configuração de NFS e svfs.
A pergunta é : como posso configurar o servidor de armazenamento em cache para usar todos os recursos disponíveis (uma partição de cache designada, RAM) para armazenar em cache o mais agressivamente e o máximo de dados possível antes de gravar no ponto de montagem svfs? Basicamente, tudo se resume a: Como posso armazenar em cache um diretório no linux?
Se possível, as leituras e gravações devem ser consolidadas e os tamanhos dos blocos nas solicitações do FUSE devem ter pelo menos 128k, se possível, para maximizar a taxa de transferência e minimizar a latência se o cache precisar gravar no cluster.
Adendo 1 : Troquei o módulo de montagem de cluster de svfs para S3QL em alguns servidores. O cache do S3QL melhorou um pouco o desempenho. Vou tentar obter alguns dados de desempenho para garantir a integridade.