Perguntas com a marcação «multiprocessing»

Eu gostaria de usar uma matriz numpy na memória compartilhada para uso com o módulo de multiprocessamento. A dificuldade é usá-lo como um array numpy, e não apenas como um array ctypes. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create …

111 python  numpy  multiprocessing  shared 

Aprendendo sobre multiprocessamento Python (de um artigo PMOTW ) e adoraria alguns esclarecimentos sobre o que exatamente o join()método está fazendo. Em um antigo tutorial de 2008 afirma que sem a p.join()chamada no código abaixo, "o processo filho ficará ocioso e não será encerrado, tornando-se um zumbi que você deve …

110 python  multiprocessing 

Os processos filhos gerados por meio de multiprocessamento compartilham objetos criados anteriormente no programa? Eu tenho a seguinte configuração: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Estou carregando um grande objeto na …

107 python  multiprocessing 

Descobri que no Python 3.4 existem poucas bibliotecas diferentes para multiprocessamento / threading: multiprocessamento vs threading vs asyncio . Mas não sei qual usar ou é o "recomendado". Eles fazem a mesma coisa ou são diferentes? Em caso afirmativo, qual é usado para quê? Quero escrever um programa que use …

105 python  multithreading  python-3.x  multiprocessing  python-asyncio 

Estou tendo muitos problemas para tentar entender como a fila de multiprocessamento funciona em python e como implementá-la. Digamos que eu tenha dois módulos python que acessam dados de um arquivo compartilhado, vamos chamar esses dois módulos de escritor e leitor. Meu plano é fazer com que o leitor e …

99 python  multithreading  multiprocessing 

Para tornar meu código mais "pythônico" e mais rápido, eu uso "multiprocessamento" e uma função de mapa para enviar a) a função eb) o intervalo de iterações. A solução implantada (ou seja, chame tqdm diretamente no intervalo tqdm.tqdm (intervalo (0, 30)) não funciona com multiprocessamento (conforme formulado no código abaixo). …

97 python  multiprocessing  progress-bar  tqdm 

Seria possível criar um pool python que não seja demoníaco? Quero que um pool possa chamar uma função que tenha outro pool dentro. Eu quero isso porque os processos deamon não podem criar processos. Especificamente, isso causará o erro: AssertionError: daemonic processes are not allowed to have children Por exemplo, …

96 python  multiprocessing  pool 

Eu tenho um script que executa com sucesso um conjunto de tarefas de pool de multiprocessamento com uma imap_unordered()chamada: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion No entanto, meu num_tasksé cerca de 250.000 e, portanto, join()bloqueia o thread principal por …

95 python  multiprocessing 

A documentação do multiprocessingmódulo mostra como passar uma fila para um processo iniciado com multiprocessing.Process. Mas como posso compartilhar uma fila com processos de trabalho assíncronos iniciados apply_async? Eu não preciso de junção dinâmica ou qualquer outra coisa, apenas uma forma de os trabalhadores (repetidamente) reportarem seus resultados de volta …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Tentei ler a documentação em http://docs.python.org/dev/library/multiprocessing.html, mas ainda estou lutando com o multiprocessamento Queue, Pool e Locking. E, por enquanto, consegui construir o exemplo abaixo. Em relação à Fila e ao Pool, não tenho certeza se entendi o conceito da maneira certa, então me corrija se estiver errado. O que …

91 python  python-2.7  multiprocessing 

Eu tenho um 60GB SciPy Array (Matrix) que devo compartilhar entre 5+ multiprocessing Processobjetos. Eu vi numpy-sharedmem e li essa discussão na lista SciPy. Parece haver duas abordagens - numpy-sharedmeme usando multiprocessing.RawArray()ae mapeando NumPy dtypes para ctypes. Agora, numpy-sharedmemparece ser o caminho a percorrer, mas ainda não vi um bom …

90 python  numpy  multiprocessing  shared-memory 

Freqüentemente, preciso aplicar uma função aos grupos de um muito grande DataFrame(de tipos de dados mistos) e gostaria de tirar proveito de vários núcleos. Posso criar um iterador a partir dos grupos e usar o módulo de multiprocessamento, mas não é eficiente porque cada grupo e os resultados da função …

89 python  pandas  multiprocessing  shared-memory 

Tentei reescrever alguns códigos de leitura csv para poder executá-los em vários núcleos no Python 3.2.2. Tentei usar o Poolobjeto de multiprocessamento, que adaptei de exemplos de trabalho (e já trabalhei para mim em outra parte do meu projeto). Encontrei uma mensagem de erro que achei difícil de decifrar e …

87 python  python-3.x  multiprocessing  pool