Perguntas com a marcação «parallel»

Eu tenho um programa de modelagem e pontuação que faz uso pesado da DataFrame.isinfunção dos pandas, pesquisando nas listas de registros "like" do Facebook de usuários individuais para cada um dos milhares de páginas específicas. Essa é a parte que consome mais tempo do programa, mais do que as peças …

25 performance  python  pandas  parallel 

Qual é (são) as diferenças entre computação paralela e distribuída? Quando se trata de escalabilidade e eficiência, é muito comum ver soluções que lidam com cálculos em clusters de máquinas e, às vezes, é chamado de processamento paralelo ou processamento distribuído. De certa maneira, o cálculo parece sempre paralelo, pois …

15 definitions  parallel  distributed 

Trabalhando no que geralmente pode ser chamado de projetos de "dados médios", consegui paralelizar meu código (principalmente para modelagem e previsão em Python) em um único sistema, em qualquer lugar de 4 a 32 núcleos. Agora, estou analisando o dimensionamento de clusters no EC2 (provavelmente com StarCluster / IPython, mas …

12 parallel  clusters  aws 

Atualmente, estou escrevendo um artigo sobre Big Data, que utiliza R fortemente para análise de dados. Por acaso tenho um GTX1070 no meu pc por motivos de jogos. Assim, achei que seria muito legal se eu pudesse usar isso para acelerar parte do processamento de algumas das coisas que meus …

11 r  gpu  parallel 

Estou trabalhando no modelo Seq2Seq usando LSTM da Keras (usando o Theano background) e gostaria de paralelizar os processos, porque poucos MBs de dados precisam de várias horas para treinamento. É claro que as GPUs são muito melhores em paralelismo do que as CPUs. No momento, só tenho CPUs para …

11 tensorflow  keras  theano  parallel