Programação multiprocessing

19

Multiprocessamento Python pool.map para vários argumentos

Na biblioteca de multiprocessamento Python, existe uma variante de pool.map que suporta vários argumentos? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python multiprocessing

3

multiprocessing.Pool: Quando usar apply, apply_async ou map?

Não vi exemplos claros com casos de uso para Pool.apply , Pool.apply_async e Pool.map . Eu estou usando principalmente Pool.map; quais são as vantagens dos outros?

290 python multithreading concurrency multiprocessing

8

Multiprocessamento Python PicklingError: Não é possível selecionar <type 'function'>

Lamento não poder reproduzir o erro com um exemplo mais simples, e meu código é muito complicado para postar. Se eu executar o programa no shell IPython em vez do Python comum, as coisas funcionam bem. Procurei algumas notas anteriores sobre esse problema. Todos eles foram causados pelo uso de …

243 python multiprocessing pickle python-multiprocessing

21

Como devo registrar enquanto estiver usando o multiprocessamento no Python?

No momento, tenho um módulo central em uma estrutura que gera vários processos usando o multiprocessingmódulo Python 2.6 . Como ele usa multiprocessing, há um log com reconhecimento de multiprocessamento no nível do módulo LOG = multiprocessing.get_logger(). De acordo com os documentos , esse criador de logs possui bloqueios compartilhados …

239 python logging multiprocessing

12

Não é possível selecionar <type 'instancemethod'> ao usar o multiprocessamento Pool.map ()

Estou tentando usar multiprocessinga Pool.map()função de dividir o trabalho simultaneamente. Quando uso o seguinte código, ele funciona bem: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() No entanto, quando eu o uso em uma abordagem mais orientada a objetos, …

218 python multithreading multiprocessing pickle pool

1

multiprocessing.Pool: Qual é a diferença entre map_async e imap?

Estou tentando aprender a usar o multiprocessingpacote do Python , mas não entendo a diferença entre map_asynce imap. Notei que ambos map_asynce imapsão executados de forma assíncrona. Então, quando devo usar um sobre o outro? E como devo recuperar o resultado retornado por map_async? Devo usar algo assim? def test(): …

184 python multiprocessing python-multiprocessing

18

Multiprocessamento: Como usar Pool.map em uma função definida em uma classe?

Quando executo algo como: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) Funciona bem. No entanto, colocando isso como uma função de uma classe: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Dá-me o …

179 python multiprocessing pickle

2

Multiprocessamento - Pipe vs Fila

Quais são as diferenças fundamentais entre filas e pipes no pacote de multiprocessamento do Python ? Em quais cenários um deve escolher um sobre o outro? Quando é vantajoso usar Pipe()? Quando é vantajoso usar Queue()?

151 python performance queue multiprocessing pipe

1

Concurrent.futures vs Multiprocessing em Python 3

O Python 3.2 introduziu o Concurrent Futures , que parece ser uma combinação avançada dos módulos de threading e multiprocessing mais antigos . Quais são as vantagens e desvantagens de usar isso para tarefas vinculadas à CPU sobre o antigo módulo de multiprocessamento? Este artigo sugere que eles são muito …

148 python python-3.x multiprocessing

6

Quais são as diferenças entre os módulos de threading e multiprocessing?

Estou aprendendo como usar o threadinge os multiprocessingmódulos em Python para executar certas operações em paralelo e acelerar o meu código. Estou achando isso difícil (talvez porque eu não tenha nenhuma base teórica sobre isso) entender qual é a diferença entre um threading.Thread()objeto e multiprocessing.Process()um. Além disso, não está totalmente …

141 python multithreading parallel-processing process multiprocessing

10

O teclado interrompe o pool de multiprocessamento do python

Como posso lidar com eventos KeyboardInterrupt com os pools de multiprocessamento do python? Aqui está um exemplo simples: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS …

136 python multiprocessing pool keyboardinterrupt

3

Por que o multiprocessamento usa apenas um núcleo depois de importar o numpy?

Não tenho certeza se isso conta mais como um problema do sistema operacional, mas pensei em perguntar aqui, caso alguém tenha alguma ideia do final das coisas em Python. Eu tenho tentado paralelizar um forloop pesado de CPU usando joblib, mas acho que, em vez de cada processo de trabalho …

127 python linux numpy multiprocessing blas

4

Objetos de memória compartilhada no multiprocessamento

Suponha que eu tenha uma matriz numpy grande de memória, que tenha uma função funcque aceite essa matriz gigante como entrada (junto com alguns outros parâmetros). funccom parâmetros diferentes pode ser executado em paralelo. Por exemplo: def func(arr, param): # do stuff to arr, param # build array arr pool …

123 python numpy parallel-processing multiprocessing shared-memory

5

RuntimeError no Windows tentando multiprocessamento python

Estou tentando meu primeiro programa python formal usando Threading e Multiprocessamento em uma máquina Windows. Não consigo iniciar os processos, porém, com python apresentando a seguinte mensagem. O fato é que não estou lançando meus threads no módulo principal . Os threads são tratados em um módulo separado dentro de …

123 python windows multiprocessing

5

multiprocessamento: como faço para compartilhar um dicionário entre vários processos?

Um programa que cria vários processos que funcionam em uma fila que pode ser juntada, Q pode ser juntada e pode, eventualmente, manipular um dicionário global Dpara armazenar os resultados. (assim, cada processo filho pode usar Dpara armazenar seu resultado e também ver quais resultados os outros processos filho estão …

113 python multiprocessing

Perguntas com a marcação «multiprocessing»