Como configurar o nginx para servir conteúdo estático da RAM?

11

Quero configurar o Nginx como meu servidor da web. Quero ter arquivos de imagem armazenados em cache na memória (RAM), em vez de no disco. Estou servindo uma página pequena e quero algumas imagens sempre veiculadas na RAM. Não desejo usar o Varnish (ou quaisquer outras ferramentas) para isso, pois acredito que o Nginx tem a capacidade de armazenar em cache o conteúdo na RAM. Não tenho certeza de como posso configurar o Nginx para isso? Eu tentei algumas combinações, mas elas não funcionaram. O Nginx usa disco o tempo todo para obter as imagens.

Por exemplo, quando tentei o benchmark do Apache para testar com o seguinte comando:

ab -c 500 -n 1000 http://localhost/banner.jpg

Eu obtenho o seguinte erro:

socket: Too many open files (24)

Acho que isso significa que o Nginx está tentando abrir muitos arquivos simultaneamente do disco e o sistema operacional não está permitindo essa operação. Alguém pode me sugerir uma configuração correta?

nginx cache memcache

— Vijayendra
fonte

Você quase certamente está adivinhando errado. Além disso, de onde você está recebendo o erro?

— Womble

@ womble Como comento abaixo, o problema pode ser simultâneo. Existem muitos threads tentando simultaneamente antes que o conteúdo esteja disponível na memória. Pode explicar por que acho que estou errado?

— Vijayendra

9

Se for um conteúdo estático, ele será armazenado em cache na memória por padrão (a menos que não haja mais memória), apenas não pelo nginx, mas pelo sistema operacional - tudo o que restará no lado do disco será stat ().

Se você deseja uma solução com 100% de memória, basta configurar o ramdisk e fornecer dados a partir daí.

— c2h5oh
fonte

Sim, entendo que o conteúdo é armazenado em cache na memória pelo SO. Mas a suposição é que o arquivo já está disponível na memória. O problema pode ser simultâneo. Existem muitos threads tentando simultaneamente antes que o conteúdo esteja disponível na memória. O que você acha?

— Vijayendra

1

Isso é apenas um problema se o número de solicitações for de 0 a 500 em um instante - depois que o arquivo for lido, ele será armazenado até a memória ser necessária (o arquivo usado menos recentemente será removido do cache se a memória estiver cheia e o novo arquivo precisar em cache). As probabilidades de isso acontecer na vida real são quase nulas. Se você tiver certeza de que é um risco real, use a solução ramdisk, apenas restaure os dados no ramdisk após cada reinicialização - o ramdisk não é um armazenamento persistente por definição.

— C2h5oh 11/06/12

Ok, vou tentar o ramdisk e ver como isso funciona. Obrigado pelo feedback.

— 21712 Vijayendra

9

Depois que o servidor ler um arquivo do disco, ele será armazenado em cache no RAM (e será substituído por um arquivo diferente se você estiver fora do RAM), o problema está no limite da sua conta, e você não poderá abrir tantos arquivos ( execute 'ulimit -a'),

Se você deseja alterar esse limite - leia sobre /etc/security/limits.conf

— Avi Keinan
fonte

1

Você está certo, o limite de arquivo aberto foi um problema, pois o limite é de 256 no meu sistema. Mas ainda preciso descobrir como configurar o Nginx para ler arquivos da memória e não do disco. Não desejo alterar meu limite de arquivo aberto e, em vez disso, desejo obter o uso de cache para solicitações subsequentes.

— 21712 Vijayendra

4

"Não desejo alterar meu limite de arquivo aberto" - você está fazendo errado. Oh, muito, muito errado.

— Womble

3

@ womble Entendo que para resolver o problema, a solução mais fácil é alterar o limite. O motivo de eu não querer alterar esse limite é ver o que posso fazer com a configuração sem alterar o limite. Eu acho que posso melhorar as coisas alterando alguns outros aspectos do cache e da configuração. A propósito, você pode dar-lhe razões / sugestões enquanto afirma por que alguém está errado. Mesmo em seu primeiro comentário, você fez isso sem fornecer nenhum motivo. Este é um lugar para sugestões profissionais. Pare de tratá-lo como seu mural do facebook.

— precisa

7

Então eu sei que isso é muito antigo, mas aqui vai.

O Nginx não faz cache de memória pronto para uso, você deve procurar no memcache isso, eu recomendaria o pacote openresty para isso: http://openresty.org/. O que você obtém da caixa (como foi respondido acima é o cache da página)
Essa mensagem de erro, tenho quase certeza, é de ab, não de nginx, os erros de nginx para limites de arquivo são parecidos com "isso falhou (24: Muitos arquivos abertos)". Lembre-se de que nos soquetes unix também existem arquivos; portanto, para o usuário que você está executando o ab as, precisa ter seu ulimit ajustado para que a sessão execute o ab. Como você disse que seu limite era 256, você está pedindo a ab para usar 500 conexões, isso está atingindo o limite máximo.

— Ben Whitaker
fonte

Ben Whitaker estava certo, o problema veio de ab, que tenta criar 500 arquivos de soquetes <=> (no linux os).

— bachden

2

Um arquivo em cache na RAM ainda é um arquivo!

Tente usar o módulo de cache Memcached do Nginx. Ainda assim, 1000 conexões simultâneas são enormes, você acha que é o seu caso?

— Thomas Decaux
fonte