Como a variação no tempo de conclusão da tarefa afeta o makespan?

16

Digamos que temos uma grande coleção de tarefas e uma coleção de processadores idênticos (em termos de desempenho) que operam completamente em paralelo. Para cenários de interesse, podemos assumir . Cada leva uma certa quantidade de tempo / ciclos para concluir, uma vez que é atribuído a um processador e, uma vez atribuído, não pode ser reatribuído até que seja concluído (os processadores sempre concluem as tarefas atribuídas). Vamos assumir que cada leva uma quantidade de tempo / ciclos $\tau_1, \tau_2, ..., \tau_n$ $\rho_1, \rho_2, ..., \rho_m$ $m \leq n$ $\tau_i$ $\rho_j$ $\tau_i$ $X_i$ , não conhecido antecipadamente, extraído de alguma distribuição aleatória discreta. Para esta questão, podemos até assumir uma distribuição simples: $P(X_i = 1) = P(X_i = 5) = 1/2$ , e todos os $X_i$ são independentes em pares. Portanto $\mu_i = 3$ e $\sigma^2 = 4$ .

Suponha que, estaticamente, no tempo / ciclo 0, todas as tarefas sejam atribuídas o mais uniformemente possível a todos os processadores, uniformemente aleatoriamente; portanto, a cada processador $\rho_j$ são atribuídas tarefas $n/m$ (também podemos assumir $m | n$ para os propósitos da pergunta). Chamamos o makepan de tempo / ciclo no qual o último processador $\rho^*$ para concluir o trabalho designado, termina o trabalho que foi designado. Primeira pergunta:

Em função de $m$ , $n$ e dos $X_i$ , qual é o makespan $M$ ? Especificamente, o que é $E[M]$ ? $Var[M]$ ?

Segunda questão:

Suponha que $P(X_i = 2) = P(X_i = 4) = 1/2$ e todos os $X_i$ sejam independentes aos pares, então $\mu_i = 3$ e $\sigma^2 = 1$ . Em função de $m$ , $n$ e desses novos $X_i$ , qual é o makespan? Mais interessante, como ele se compara à resposta da primeira parte?

Algumas experiências simples de pensamento demonstram que a resposta é que o makepan é mais longo. Mas como isso pode ser quantificado? Ficarei feliz em postar um exemplo se isso for (a) controverso ou (b) obscuro. Dependendo do sucesso deste, postarei uma pergunta de acompanhamento sobre um esquema de atribuição dinâmica sob essas mesmas suposições. Desde já, obrigado!

Análise de um caso fácil: $m = 1$

Se , todas as tarefas são agendadas para o mesmo processador. O makespan é apenas o momento de concluir tarefas de maneira sequencial completa. Portanto, e $m = 1$ $n$ $M$ $n$

\begin{aligned} E [M] & = E [X_{1} + X_{2} + . . . + X_{n}] \\ = E [X_{1}] + E [X_{2}] + . . . + E [X_{n}] \\ = μ + μ + . . . + μ \\ = n μ \end{aligned}

$\begin{align*} E[M] &= E[X_1 + X_2 + ... + X_n] \\ &= E[X_1] + E[X_2] + ... + E[X_n] \\ &= \mu + \mu + ... + \mu \\ &= n\mu \end{align*}$

\begin{aligned} V a r [M] & = V uma r [X_{1} + X_{2} + . . . + X_{n}] \\ = V uma r [X_{1}] + V uma r [X_{2}] + . . . + V uma r [X_{n}] \\ = σ^{2} + σ^{2} + . . . + σ^{2} \\ = n σ^{2} \end{aligned}

$\begin{align*} Var[M] &= Var[X_1 + X_2 + ... + X_n] \\ &= Var[X_1] + Var[X_2] + ... + Var[X_n] \\ &= \sigma^2 + \sigma^2 + ... + \sigma^2 \\ &= n\sigma^2 \\ \end{align*}$

Parece que é possível usar esse resultado para responder à pergunta para ; simplesmente precisamos encontrar uma expressão (ou aproximação aproximada) para que , uma variável aleatória com e . Este rumo está na direção certa? $m > 1$ $\max(Y_1, Y_2, ..., Y_m)$ $Y_i = X_{i\frac{n}{m} + 1} + X_{i\frac{n}{m} + 2} + ... + X_{i\frac{n}{m} + \frac{n}{m}}$ $\mu_Y = \frac{n}{m}\mu_X$ $\sigma_Y^2 = \frac{n}{m}\sigma_X^2$

probability-theory scheduling parallel-computing

— Patrick87
fonte

Boa pergunta. Se apenas não havia um prazo hoje ....

— Dave Clarke

8

Como , podemos ver isso em termos de e vez de e . Digamos que é o tempo que leva o ésimo processador para concluir seu trabalho. $m = k \times n$ $k$ $n$ $n$ $m$ $T_i$ $i$

À medida que cresce, a probabilidade de = (o processador ter sido atribuído apenas a tarefas ) para algumas aproxima de , então makepan é definido como , aproxima de . $n$ $T_i$ $5k$ $T=5$ $i$ $1$ $\mathrm{max}(T_i)$ $E[M]$ $5k$

Para o segundo cenário, isso é portanto, aumentar o número de processadores melhora a divisão 4-2. $4k$

E - aumentar o número de tarefas por processador? Aumentar tem o efeito oposto, diminui a probabilidade de ter um processador com um conjunto infeliz de tarefas. Estou indo para casa agora, mas voltarei a isso mais tarde. Meu "palpite" é que, à medida que cresce, a diferença de entre a divisão 4–2 e a divisão 5-1 desaparece, se torna a mesma para ambas. Portanto, eu suporia que 4-2 é sempre melhor, exceto talvez em alguns casos especiais (valores específicos muito pequenos de e ), mesmo que isso. $k$ $k$ $k$ $E[M]$ $E[M]$ $k$ $n$

Então, para resumir:

Menor variação é melhor, sendo tudo o resto igual.
À medida que o número de processadores aumenta, uma variação menor se torna mais importante.
À medida que o número de tarefas por processador aumenta, uma variação menor se torna menos importante.

— svinja
fonte

+1 Excelente intuição, e isso ajuda a esclarecer meu pensamento também. Portanto, o aumento da contagem de processadores tende a aumentar a produção sob uma suposição de escala fraca; e o aumento da contagem de tarefas tende a diminuir a produção sob uma forte premissa de escala (é claro que leva mais tempo; quero dizer, a relação trabalho / produção melhora). Essas são observações interessantes e parecem verdadeiras;

— precisa saber é o seguinte

o primeiro é justificado pelo fato de que tende a para fixo e crescente ; o último pelo fato de que ... a variação não aumenta linearmente em função de . Isso é compatível com o seu pensamento (é assim que estou interpretando o que você tem até agora)?

1 - (1 - P (X = 5)^{k})^{n}

$1 - (1 - P(X = 5)^k)^n$

1

$1$

k

$k$

n

$n$

V a r [X + X] = V a r [X] + V a r [X] = 2 σ^{2} \leq 4 σ^{2} = 4 V a r [X] = V a r [2 X]

$Var[X + X] = Var[X] + Var[X] = 2\sigma^2 \leq 4\sigma^2 = 4Var[X] = Var[2X]$

k

$k$

— precisa saber é o seguinte

Não sei de onde veio o "palpite"; não é consistente com o restante do raciocínio heurístico.

— András Salamon

2

Acho que os argumentos heurísticos geralmente são bastante enganadores ao considerar o agendamento de tarefas (e problemas intimamente relacionados, como empacotamento de lixeira). Podem acontecer coisas que são contra-intuitivas. Para um caso tão simples, vale a pena fazer a teoria da probabilidade.

Seja com um número inteiro positivo. Suponha que seja o tempo necessário para concluir a ésima tarefa dada ao processador . Esta é uma variável aleatória com média e variância . O makepan esperado no primeiro caso é As somas são todas iid com média e variância , assumindo que são todas iid (isso é mais forte que a independência pareada). $n = km$ $k$ $T_{ij}$ $j$ $i$ $\mu$ $\sigma^2$

E [M] = E [max {\sum_{j = 1}^{k} T_{Eu j} ∣ Eu = 1, 2, ..., m}] .

$E[M] = E[\max \left\{\sum_{j=1}^k T_{ij} \mid i=1,2,\dots,m \right\}].$

k μ

$k\mu$

k σ^{2}

$k\sigma^2$

T_{i j}

$T_{ij}$

Agora, para obter a expectativa de um máximo, é necessário mais informações sobre a distribuição ou um acordo com limites livres de distribuição, como:

Peter J. Downey, Limites sem distribuição na expectativa do máximo com aplicativos de agendamento , Operations Research Letters 9 , 189–201, 1990. doi: 10.1016 / 0167-6377 (90) 90018-Z

que pode ser aplicado se as somas em termos de processador forem iid. Este não seria necessariamente o caso se os tempos subjacentes fossem apenas independentes por pares. Em particular, pelo Teorema 1, o makepan esperado é limitado acima por Downey também fornece uma distribuição específica atingindo esse limite, embora a distribuição mude como , e não seja exatamente natural.

E [M] \leq k μ + σ \sqrt{k} \frac{n - 1}{\sqrt{2 n - 1}} .

$E[M] \le k\mu + \sigma\sqrt{k}\frac{n-1}{\sqrt{2n-1}}.$

n

$n$

Observe que o limite diz que o makepan esperado pode aumentar à medida que qualquer um dos parâmetros aumenta: a variação , o número de processadores ou o número de tarefas por processador . $\sigma^2$ $n$ $k$

Para sua segunda pergunta, o cenário de baixa variância, resultando em uma marca maior, parece ser um resultado improvável de um experimento mental. Seja denota o makepan para a primeira distribuição e para a segunda (com todos os outros parâmetros iguais). Aqui e denotam as somas de durações de tarefas correspondentes ao processador nas duas distribuições. Para todo , a independência produz $X = \max_{i=1}^m X_i$ $Y = \max_{i=1}^m Y_i$ $X_i$ $Y_i$ $k$ $i$ $x \ge k\mu$

P r [X \leq x] = \prod_{Eu = 1}^{m} P r [X_{Eu} \leq x] \leq \prod_{Eu = 1}^{m} P r [Y_{Eu} \leq x] = P r [Y \leq x] .

$Pr[X \le x] = \prod_{i=1}^m Pr[X_i \le x] \le \prod_{i=1}^m Pr[Y_i \le x] = Pr[Y \le x].$ Como a maior parte da massa da distribuição de probabilidade do máximo estará acima de sua média, tenderá, portanto, a ser maior que . Esta não é uma resposta completamente rigorosa, mas, em suma, o segundo caso parece preferível.

E [X]

$E[X]$

E [Y]

$E[Y]$

— András Salamon
fonte