Perguntas com a marcação «parallelism»

Executando tarefas em paralelo, para fazer uso de vários processadores

9
Espalhando processos stdin para paralelos
Eu tenho uma tarefa que processa uma lista de arquivos no stdin. O tempo de inicialização do programa é substancial e a quantidade de tempo que cada arquivo leva varia muito. Quero gerar um número substancial desses processos e depois enviar o trabalho para os que não estiverem ocupados. Existem …
2
Como paralelizar dd?
No momento, estou tendo problemas com a ddchamada de um arquivo esparso como input ( if) e um arquivo como output ( of) com conv=sparse. ddparece estar usando apenas um núcleo da CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 núcleos + 4 Intel Hyperthreads) (100% de 1 núcleo), por …
10 linux  dd  parallelism 
1
Usando apenas um núcleo da CPU
Preciso executar testes de desempenho para o meu programa simultâneo e meu requisito é que ele seja executado em apenas um núcleo da CPU. (Não quero threads de cooperação - quero sempre ter uma alternância de contexto). Então, eu tenho duas perguntas: A melhor solução - Como assinar e reservar …
3
uso paralelo correto dos xargs
Estou usando xargspara chamar um script python para processar cerca de 30 milhões de arquivos pequenos. Espero usar xargspara paralelizar o processo. O comando que estou usando é: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Basicamente, Convert.pylerá em um pequeno arquivo …
1
Multi-Threading / Forking em um script bash
Eu escrevi um script bash que está no seguinte formato: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." O whileloop lerá $inFile, executará alguma atividade na linha …
2
Paralelizando um loop for
Eu quero paralelizar os forloops do código a seguir. Como fazer isso? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi …
2
Bash: vários para loops em segundo plano
Essa é a maneira correta de iniciar vários processamentos seqüenciais em segundo plano? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Todos jdevem ser processados ​​um após o outro por um determinado i, mas todos idevem ser processados ​​simultaneamente.
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.