Como posso limitar o Parallel.ForEach?

295

Eu tenho um loop assíncrono Parallel.ForEach () com o qual baixo algumas páginas da web. Minha largura de banda é limitada para que eu possa baixar apenas x páginas por vez, mas o Parallel.ForEach executa uma lista completa de páginas da web desejadas.

Existe uma maneira de limitar o número de threads ou qualquer outro limitador durante a execução do Parallel.ForEach?

Código de demonstração:

Parallel.ForEach(listOfWebpages, webpage => {
  Download(webpage);
});

A tarefa real não tem nada a ver com páginas da Web, portanto, soluções criativas de rastreamento da Web não ajudarão.

c# .net asynchronous parallel.foreach

— eugeneK
fonte

@jKlaus Se a lista não for modificada, por exemplo, é apenas um conjunto de URLs, não vejo realmente o problema?

— Shiv

@Shiv, com tempo suficiente você irá ... Conte o seu número de execuções e compare-o com a contagem da lista.

— jKlaus

@jKlaus O que você está dizendo que vai dar errado?

— Shiv

1

@jKlaus você está modificando um elemento não seguro para thread (o número inteiro). Eu esperaria que não funcionasse nesse cenário. O OP, por outro lado, não está modificando nada que precise ser seguro para threads.

— Shiv

2

@jKlaus Aqui está um exemplo de Parallel.ForEach que define a contagem corretamente> dotnetfiddle.net/moqP2C . Link do MSDN: msdn.microsoft.com/en-us/library/dd997393(v=vs.110).aspx

— jhamm

564

Você pode especificar a MaxDegreeOfParallelismem um ParallelOptionsparâmetro:

Parallel.ForEach(
    listOfWebpages,
    new ParallelOptions { MaxDegreeOfParallelism = 4 },
    webpage => { Download(webpage); }
);

MSDN: Parallel.ForEach

MSDN: ParallelOptions.MaxDegreeOfParallelism

— Nicholas Butler
fonte

59

Pode não se aplicar a esse caso em particular, mas achei que seria descartado caso alguém se perguntasse sobre isso e o considerasse útil. Aqui estou utilizando 75% (arredondado para cima) da contagem de processadores.

var opts = new ParallelOptions             {                 MaxDegreeOfParallelism = Convert.ToInt32(Math.Ceiling((Environment.ProcessorCount * 0.75) * 1.0))             };

— Jklaus

4

Apenas para salvar qualquer pessoa que procure na documentação, passar um valor -1igual a não especificá-lo: "Se [o valor] for -1, não há limite para o número de operações em execução simultânea"

— Stuartd

Não está claro para mim na documentação - definir MaxDegreeOfParallelism como 4 (por exemplo) significa que haverá 4 threads cada executando 1/4 das iterações do loop (uma rodada de 4 threads despachadas) ou cada thread ainda faz um loop iteração e estamos limitando quantas rodam em paralelo?

— Hashman

7

Ser núcleos e threads claros não é a mesma coisa. Dependendo da CPU, há um número diferente de threads por núcleo, geralmente 2 por núcleo. Por exemplo, se você possui uma CPU de 4 núcleos com 2 threads por núcleo, possui no máximo 8 threads. Para ajustar o comentário @jKlaus

var opts = new ParallelOptions { MaxDegreeOfParallelism = Convert.ToInt32(Math.Ceiling((Environment.ProcessorCount * 0.75) * 2.0)) };

. Link para threads vs núcleos - askubuntu.com/questions/668538/…

— TheMiddleMan

41

Você pode usar ParallelOptions e configurar MaxDegreeOfParallelism para limitar o número de threads simultâneos:

Parallel.ForEach(
    listOfwebpages, 
    new ParallelOptions{MaxDegreeOfParallelism=2}, 
    webpage => {Download(webpage);});

— rikitikitik
fonte

21

Use outra sobrecarga Parallel.Foreachque leva uma ParallelOptionsinstância e defina MaxDegreeOfParallelismpara limitar quantas instâncias são executadas em paralelo.

— Richard
fonte

11

E para os usuários do VB.net (a sintaxe é estranha e difícil de encontrar) ...

Parallel.ForEach(listOfWebpages, New ParallelOptions() With {.MaxDegreeOfParallelism = 8}, Sub(webpage)
......end sub)

— user3496060
fonte