Perguntas com a marcação «python-multiprocessing»

Lamento não poder reproduzir o erro com um exemplo mais simples, e meu código é muito complicado para postar. Se eu executar o programa no shell IPython em vez do Python comum, as coisas funcionam bem. Procurei algumas notas anteriores sobre esse problema. Todos eles foram causados ​​pelo uso de …

243 python  multiprocessing  pickle  python-multiprocessing 

No código de exemplo abaixo, gostaria de recuperar o valor de retorno da função worker. Como posso fazer isso? Onde esse valor é armazenado? Código de exemplo: import multiprocessing def worker(procnum): '''worker function''' print str(procnum) + ' represent!' return procnum if __name__ == '__main__': jobs = [] for i in …

190 python  python-multiprocessing 

Estou tentando aprender a usar o multiprocessingpacote do Python , mas não entendo a diferença entre map_asynce imap. Notei que ambos map_asynce imapsão executados de forma assíncrona. Então, quando devo usar um sobre o outro? E como devo recuperar o resultado retornado por map_async? Devo usar algo assim? def test(): …

184 python  multiprocessing  python-multiprocessing 

Estou usando 'multiprocess.Pool.imap_unordered' conforme a seguir from multiprocessing import Pool pool = Pool() for mapped_result in pool.imap_unordered(mapping_func, args_iter): do some additional processing on mapped_result Eu preciso ligar pool.closeou pool.joinapós o loop for?

94 python  python-multiprocessing 

A documentação do multiprocessingmódulo mostra como passar uma fila para um processo iniciado com multiprocessing.Process. Mas como posso compartilhar uma fila com processos de trabalho assíncronos iniciados apply_async? Eu não preciso de junção dinâmica ou qualquer outra coisa, apenas uma forma de os trabalhadores (repetidamente) reportarem seus resultados de volta …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Então, digamos que você tenha um processo Python que colete dados em tempo real com cerca de 500 linhas por segundo (isso pode ser paralelizado ainda mais para reduzir para cerca de 50 ps) de um sistema de filas e anexá-lo a DataFrame: rq = MyRedisQueue(..) df = pd.DataFrame() while …

8 python-3.x  pandas  dataframe  python-multiprocessing 

Suponha que eu tenha o seguinte código: from scipy import * import multiprocessing as mp num_cores = mp.cpu_count() from joblib import Parallel, delayed import matplotlib.pyplot as plt def func(x,y): return y/x def main(y, xmin,xmax, dx): x = arange(xmin,xmax,dx) output = Parallel(n_jobs=num_cores)(delayed(func)(i, y) for i in x) return x, asarray(output) def …

8 python  python-3.x  python-multiprocessing  joblib