Perguntas com a marcação «parallel-processing»

Muitas plataformas promovem assincronia e paralelismo como meio para melhorar a capacidade de resposta. Compreendo a diferença em geral, mas muitas vezes acho difícil articular em minha própria mente, assim como nos outros. Sou programador de rotina e uso assíncrono e retornos de chamada com bastante frequência. Paralelismo parece exótico. …

138 multithreading  asynchronous  parallel-processing 

Caso eu não me importe com a ordem de conclusão da tarefa e precise apenas de todos para concluir, ainda devo usar em await Task.WhenAllvez de vários await? por exemplo, está DoWork2abaixo de um método preferido para DoWork1(e por quê?): using System; using System.Threading.Tasks; namespace ConsoleApp { class Program { …

127 c#  .net  parallel-processing  task-parallel-library  async-await 

Eu tenho um script do PowerShell para fazer um processamento em lote em várias imagens e gostaria de fazer um processamento paralelo. O Powershell parece ter algumas opções de processamento em segundo plano, como trabalho inicial, trabalho de espera, etc., mas o único bom recurso que encontrei para executar trabalhos …

125 multithreading  powershell  parallel-processing 

Suponha que eu tenha uma matriz numpy grande de memória, que tenha uma função funcque aceite essa matriz gigante como entrada (junto com alguns outros parâmetros). funccom parâmetros diferentes pode ser executado em paralelo. Por exemplo: def func(arr, param): # do stuff to arr, param # build array arr pool …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

Estou tentando paralelizar um ray-tracer. Isso significa que tenho uma lista muito longa de pequenos cálculos. O programa vanilla é executado em uma cena específica em 67,98 segundos e 13 MB de uso de memória total e produtividade de 99,2%. Na minha primeira tentativa, usei a estratégia paralela parBuffercom um …

114 haskell  parallel-processing  raytracing 

Como faço para sair de um loop parallel.for ? Eu tenho uma declaração bastante complexa que se parece com o seguinte: Parallel.ForEach<ColorIndexHolder>(ColorIndex.AsEnumerable(), new Action<ColorIndexHolder>((ColorIndexHolder Element) => { if (Element.StartIndex <= I && Element.StartIndex + Element.Length >= I) { Found = true; break; } })); Usando a classe paralela, posso otimizar …

111 c#  multithreading  parallel-processing  parallel.foreach 

Tenho feito experiências com multi-threading e processamento paralelo e precisava de um contador para fazer algumas contagens básicas e análises estatísticas da velocidade do processamento. Para evitar problemas com o uso simultâneo de minha classe, usei uma instrução de bloqueio em uma variável privada em minha classe: private object mutex …

111 c#  .net  multithreading  locking  parallel-processing 

Um dos principais exemplos usados ​​para demonstrar o poder do MapReduce é o benchmark Terasort . Estou tendo problemas para entender os fundamentos do algoritmo de classificação usado no ambiente MapReduce. Para mim, a classificação envolve simplesmente determinar a posição relativa de um elemento em relação a todos os outros …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Gostaria de paralelizar meu programa Python para que ele possa usar vários processadores na máquina em que é executado. Minha paralelização é muito simples, em que todas as "threads" paralelas do programa são independentes e gravam sua saída em arquivos separados. Não preciso dos threads para trocar informações, mas é …

110 python  multithreading  parallel-processing 

Qual é a maneira de simplesmente esperar que todo o processo encadeado termine? Por exemplo, digamos que eu tenho: public class DoSomethingInAThread implements Runnable{ public static void main(String[] args) { for (int n=0; n<1000; n++) { Thread t = new Thread(new DoSomethingInAThread()); t.start(); } // wait for all threads' run() …

109 java  multithreading  parallel-processing  wait 

Dado este código: var arrayStrings = new string[1000]; Parallel.ForEach<string>(arrayStrings, someString => { DoSomething(someString); }); Todos os 1000 threads serão gerados quase simultaneamente?

107 c#  .net  c#-4.0  parallel-processing 

Estou tentando entender qual é a diferença entre SLURM srune sbatchcomandos. Ficarei feliz com uma explicação geral, ao invés de respostas específicas para as seguintes perguntas, mas aqui estão alguns pontos específicos de confusão que podem ser um ponto de partida e dar uma ideia do que estou procurando. De …

101 parallel-processing  scheduler  jobs  slurm  sbatch 

A documentação do multiprocessingmódulo mostra como passar uma fila para um processo iniciado com multiprocessing.Process. Mas como posso compartilhar uma fila com processos de trabalho assíncronos iniciados apply_async? Eu não preciso de junção dinâmica ou qualquer outra coisa, apenas uma forma de os trabalhadores (repetidamente) reportarem seus resultados de volta …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Existe alguma maneira de criar threads para executar vários métodos ao mesmo tempo? Dessa forma, se algum método falhar entre todos os outros threads, ele deve ser eliminado.

91 multithreading  node.js  asynchronous  parallel-processing 

Em meu trabalho recente com o Gibbs sampling, tenho feito grande uso do RVarque, na minha opinião, fornece uma interface quase ideal para geração de números aleatórios. Infelizmente, não consegui usar Repa devido à impossibilidade de usar ações monádicas em mapas. Embora mapas claramente monádicos não possam ser paralelizados em …

90 arrays  haskell  parallel-processing  repa