Perguntas com a marcação «shared-memory»

Suponha que eu tenha uma matriz numpy grande de memória, que tenha uma função funcque aceite essa matriz gigante como entrada (junto com alguns outros parâmetros). funccom parâmetros diferentes pode ser executado em paralelo. Por exemplo: def func(arr, param): # do stuff to arr, param # build array arr pool …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

Eu tenho um pequeno problema com um dos meus projetos. Tenho tentado encontrar um exemplo bem documentado de uso de memória compartilhada, fork()mas sem sucesso. Basicamente, o cenário é que quando o usuário inicia o programa, eu preciso armazenar dois valores na memória compartilhada: current_path que é um char * …

117 c  linux  fork  shared-memory 

Eu tenho um 60GB SciPy Array (Matrix) que devo compartilhar entre 5+ multiprocessing Processobjetos. Eu vi numpy-sharedmem e li essa discussão na lista SciPy. Parece haver duas abordagens - numpy-sharedmeme usando multiprocessing.RawArray()ae mapeando NumPy dtypes para ctypes. Agora, numpy-sharedmemparece ser o caminho a percorrer, mas ainda não vi um bom …

90 python  numpy  multiprocessing  shared-memory 

Freqüentemente, preciso aplicar uma função aos grupos de um muito grande DataFrame(de tipos de dados mistos) e gostaria de tirar proveito de vários núcleos. Posso criar um iterador a partir dos grupos e usar o módulo de multiprocessamento, mas não é eficiente porque cada grupo e os resultados da função …

89 python  pandas  multiprocessing  shared-memory 

Criei um aplicativo que também pode ser executado como um serviço (usando uma -serviceopção). Isso funciona perfeitamente sem problemas quando estou executando o serviço em um prompt de comando (eu tenho algo configurado que permite depurá-lo em um console quando não estou sendo executado como um serviço verdadeiro). No entanto, …

8 c#  shared-memory  memory-mapped-files  memory-mapping