Perguntas com a marcação «parallelism»

Há uma lista de endereços IP em um arquivo .txt, por exemplo: 1.1.1.1 2.2.2.2 3.3.3.3 Por trás de cada endereço IP, há um servidor e em cada servidor existe um sshd em execução na porta 22. Nem todos os servidores estão na known_hostslista (no meu PC, Ubuntu 10.04 LTS / …

46 ssh  scripting  parallelism 

Estou usando o processador quad freescale IMX6. Quero saber se o topcomando lista o uso da CPU de todos os 4 núcleos ou de um único núcleo. Estou vendo o uso da CPU de um aplicativo ser o mesmo com 4 núcleos e com um único núcleo. Eu estava imaginando …

46 linux  top  parallelism  cpu-usage 

Eu tenho uma pasta que tem mais de 250 arquivos de 2 GB cada. Preciso procurar uma string / padrão nesses arquivos e gerar o resultado em um outputarquivo. Eu sei que posso executar o seguinte comando, mas é muito lento! grep mypattern * > output Eu quero acelerar isso. …

38 grep  parallelism 

Preciso fazer o download de um arquivo grande (1 GB). Também tenho acesso a vários computadores executando o Linux, mas cada um é limitado a uma velocidade de download de 50kB / s por uma política de administrador. Como distribuo o download desse arquivo em vários computadores e os mesclo …

38 download  cluster  parallelism 

Existe alguma ferramenta / comando no Linux que eu possa usar para executar um comando em mais de uma guia simultaneamente? Eu quero executar o mesmo comando: ./myprog argument1 argument2simultaneamente em mais de um shell para verificar se os mutexes estão funcionando bem em um programa encadeado. Quero poder aumentar …

33 shell  terminal  parallelism 

Eu quero compilar o mais rápido possível. Vai saber. E gostaria de automatizar a escolha do número após a -jopção. Como escolher programaticamente esse valor, por exemplo, em um script de shell? A saída é nprocequivalente ao número de threads que tenho disponível para compilar? make -j1 make -j16

31 linux  make  cpu  parallelism  multiprocessor 

Sob a suposição de que a E / S do disco e a RAM livre são um gargalo (embora o tempo da CPU não seja a limitação), existe uma ferramenta que pode calcular vários resumos de mensagens de uma só vez? Estou particularmente interessado em calcular os resumos MD-5 e …

25 shell-script  hashsum  parallelism 

Eu tenho um monte de imagens PNG em um diretório. Eu tenho um aplicativo chamado pngout que eu corro para compactar essas imagens. Este aplicativo é chamado por um script que eu fiz. O problema é que esse script executa um de cada vez, algo como isto: FILES=(./*.png) for f …

23 shell  background-process  parallelism 

Suponha que eu tenho três (ou mais) scripts bash: script1.sh, script2.sh, e script3.sh. Gostaria de chamar todos esses três scripts e executá-los em paralelo . Uma maneira de fazer isso é apenas executar os seguintes comandos: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (Em geral, …

19 bash  shell-script  background-process  parallelism 

Eu tenho um problema de script de shell no qual recebo um diretório cheio de arquivos de entrada (cada arquivo contém muitas linhas de entrada) e preciso processá-los individualmente, redirecionando cada uma de suas saídas para um arquivo exclusivo (também conhecido como file_1.input para ser capturado em file_1.output e assim …

18 scripting  parallelism  gnu-parallel 

Estou usando xargscom a opção --max-args=0(como alternativa -P 0). No entanto, a saída dos processos é mesclada no stdoutfluxo sem levar em consideração a separação de linha adequada. Então, muitas vezes acabo com linhas como: <start-of-line-1><line-2><end-of-line-1> Como eu estou usando egrepcom ^no meu padrão em toda a xargssaída isto é …

17 process  io  xargs  parallelism 

Eu tenho um script de shell bash no qual canalizo alguns dados por cerca de 5 ou 6 programas diferentes e, em seguida, os resultados finais em um arquivo delimitado por tabulação. Em seguida, faço o mesmo novamente para um conjunto de dados semelhante separado e saio para um segundo …

17 scripting  parallelism 

Posso ssh em uma máquina remota com 64 núcleos. Digamos que eu precise executar 640 scripts de shell em paralelo nesta máquina. Como eu faço isso? Eu posso ver dividindo os 640 scripts em 64 grupos, cada um dos 10 scripts. Como eu executaria cada um desses grupos em paralelo …

16 parallelism 

Considere o seguinte cenário. Eu tenho dois programas A e B. O programa A produz saídas padrão de linhas de strings enquanto o programa B processa linhas de stdin. A maneira de usar esses dois programas é obviamente: foo @ bar: ~ $ A | B Agora notei que isso …

16 shell  parallelism 

Suponha que eu tenha dois recursos, nomeados 0e 1, que só podem ser acessados ​​exclusivamente. Existe alguma maneira de recuperar o "índice" do "processador paralelo" que é xargsiniciado para usá-lo como um serviço de exclusão mútua gratuito? Por exemplo, considere a seguinte computação paralela: $ echo {1..8} | xargs -d …

14 xargs  parallelism