Perguntas com a marcação «distributed-computing»

Estou tentando entender o ZooKeeper, como ele funciona e o que faz. Existe algum aplicativo comparável ao ZooKeeper? Se você souber, como descreveria o ZooKeeper a um leigo? Eu tentei o apache wiki, zookeeper sourceforge ... mas ainda não consigo me relacionar com ele. Acabei de ler http://zookeeper.sourceforge.net/index.sf.shtml , então …

376 apache-zookeeper  distributed-computing 

De acordo com o Learning Spark Lembre-se de que o reparticionamento dos dados é uma operação bastante cara. O Spark também possui uma versão otimizada do repartition()chamado coalesce()que permite evitar a movimentação de dados, mas apenas se você estiver diminuindo o número de partições RDD. Uma diferença que recebo é …

254 apache-spark  distributed-computing  rdd 

Li a Visão geral do modo de cluster e ainda não consigo entender os diferentes processos no cluster do Spark Standalone e o paralelismo. O trabalhador é um processo da JVM ou não? Eu executei o bin\start-slave.she descobri que ele gerou o trabalhador, que na verdade é uma JVM. Conforme …

219 apache-spark  distributed-computing 

Em termos de RDDpersistência, quais são as diferenças entre cache()e persist()na centelha?

202 apache-spark  distributed-computing  rdd 

Eu sou relativamente novo em Kafka. Eu experimentei um pouco, mas algumas coisas não estão claras para mim em relação à compensação do consumidor. Pelo que entendi até agora, quando um consumidor inicia, o deslocamento do qual ele começará a ler é determinado pela configuração auto.offset.reset(corrija-me se estiver errado). Agora …

170 java  distributed-computing  apache-kafka 

Se você possui um bilhão de números e cem computadores, qual é a melhor maneira de localizar a mediana desses números? Uma solução que tenho é: Divida o conjunto igualmente entre os computadores. Classifique-os. Encontre as medianas para cada conjunto. Classifique os conjuntos em medianas. Mesclar dois conjuntos de uma …

127 algorithm  distributed-computing