Como limitar o uso de recursos para economizar CPU + RAM para um determinado processo?

25

Eu tenho um servidor de desenvolvimento no qual sshdàs vezes para de funcionar porque a máquina fica sem memória RAM. Sim, estamos com pouca memória e a atualização não é uma opção viável no momento. O que eu quero fazer é dizer à máquina: "Faça o que quiser, mas deixe de fora 20 MB e um pouco de CPU sshd!".

Como isso pode ser feito?

performance limit

— phunehehe
fonte

O Sshd não deve explodir assim, normalmente é um daemon muito bem comportado. Verifique se está atualizado para o mais recente / melhor. O que você está fazendo com isso? Você está canalizando dados massivos através dele?

— Marcin

2

@ Marcin Eu não acho que estou fazendo nada grande, edição de texto. Mesmo se sshdfor bem comportado, acho que ficaria preso se não houvesse CPU / RAM suficiente para usar, não?

— phunehehe

Quando o linux fica sem memória, ele começa a matar os processos para recuperar a memória. Você pode estar vendo o OOM em ação (falta de memória). Eu não sei por que ele decidiu matar seu sshd de forma consistente. Você já viu o sshd realmente vazar (aumentar de tamanho) horrivelmente antes de explodir ou funciona bem em um momento e está morto no seguinte?

— Marcin

@Marcin as chances são de que, se ele está OOM, o sistema está atolado tanto que o sshd simplesmente não pode responder, não é um problema do sshd, mas um problema com sua carga. Infelizmente não sei a resposta para isso.

— Xenoterracide

@phunehehe você tem certeza de que o problema não é a memória do ssh e a sua carga não passa do telhado? sshd dá algum erro? qual é a carga na caixa? e o que está causando a falta de memória no sistema.

— Xenoterracide

9

Provavelmente, você pode conseguir algo assim usando cgroups com o controlador de recurso de memória .

Eu acho que você colocaria todas as suas tarefas que consomem recursos em um número limitado (CPU e RAM) cgroupe deixaria sshd"fora" para que não ficasse restrito.

(Adicionar mais troca, mesmo na forma de um arquivo de troca, pode ser uma boa opção.)

— Esteira
fonte

Ainda estou hesitante, não parece fácil (estragado pelo Ubuntu).

— phunehehe

ah, certamente não é fácil :-) Adicionar swap é de longe mais fácil.

— Mat

@phunehehe bem-vindo a ser um administrador de sistema, não é fácil. Mas agora você tem que aprender a fazer coisas não fáceis.

— Xenoterracide

6

Ah, mas o cgroups é fácil :) Instale o pacote libcgroup. Crie um /etc/cgconfig.conf:

mount {
    cpu     = /cgroup/cpu_and_mem;
    cpuacct = /cgroup/cpu_and_mem;
    memory  = /cgroup/cpu_and_mem;
}

group sshd {
        cpu {
                cpu.shares="500";
        }
        cpuacct {
                cpuacct.usage="0";
        }
        memory {
                memory.limit_in_bytes="1G";
        }
}

group nosshd {
        cpu {
                cpu.shares="500";
        }
        cpuacct {
                cpuacct.usage="0";
        }
        memory {
                memory.limit_in_bytes="1G";
        }
}

Inicie o cgconfigprocesso que criará a hierarquia, cgroups e defina os limites. Se isso der certo, você tem dois cgroups, ambos com 50% da CPU atribuída e 1G de memória disponível (não sabe qual é a quantidade real de memória disponível; supondo que seja 2G neste exemplo). Agora você só precisa mover todas as tarefas (ou seja, todos os processos em execução no sistema) do grupo raiz para o chup de nosshd:

cgroup]# cat tasks >> nosshd/tasks
cgroup]# echo > tasks

Então você só precisa obter o PID do sshdprocesso e movê-lo para o arquivo de tarefas sshd:

cgroup]# echo $PID >> sshd/tasks

Ta-da, você terminou. Agora você pode ter certeza de que o sshd sempre terá 50% da CPU e 1G de memória.

— mart1n
fonte

1

Use renicepara obter uma prioridade mais alta sshdou verificar a contabilidade. (acct) -> com isso, você pode definir recursos para os usuários, então execute sshd com s

— MSpike
fonte

Eu acrescentaria ionicea isso também, e provavelmente começaria o sshd com bom, não renegando-o mais tarde.

— Xenoterracide

1

Uma solução mais geral para o problema do uso de recursos de aplicativos é executar seus aplicativos em um contêiner usando o Docker . Você pode executar contêineres com limites de uso de CPU e memória semelhantes aos cgroups.

docker run -c=10 -m=1g my-container

— Sean Fujiwara
fonte