Perguntas com a marcação «rdd»

Eu só estou querendo saber qual é a diferença entre um RDDe DataFrame (Spark 2.0.0 DataFrame é um mero tipo de alias para Dataset[Row]) no Apache Spark? Você pode converter um para o outro?

257 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

De acordo com o Learning Spark Lembre-se de que o reparticionamento dos dados é uma operação bastante cara. O Spark também possui uma versão otimizada do repartition()chamado coalesce()que permite evitar a movimentação de dados, mas apenas se você estiver diminuindo o número de partições RDD. Uma diferença que recebo é …

254 apache-spark  distributed-computing  rdd 

Em termos de RDDpersistência, quais são as diferenças entre cache()e persist()na centelha?

202 apache-spark  distributed-computing  rdd 

Eu prefiro Python a Scala. Mas, como o Spark é originalmente escrito em Scala, eu esperava que meu código fosse executado mais rapidamente no Scala que na versão Python por razões óbvias. Com essa suposição, pensei em aprender e escrever a versão Scala de algum código de pré-processamento muito comum …

178 scala  performance  apache-spark  pyspark  rdd 

Quando um conjunto de dados distribuído resiliente (RDD) é criado a partir de um arquivo ou coleção de texto (ou de outro RDD), precisamos chamar "cache" ou "persistir" explicitamente para armazenar os dados do RDD na memória? Ou os dados RDD são armazenados de forma distribuída na memória por padrão? …

171 scala  apache-spark  rdd 

Como posso converter um RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) em um Dataframe org.apache.spark.sql.DataFrame. Eu converti um dataframe para rdd usando .rdd. Depois de processá-lo, quero-o novamente no dataframe. Como posso fazer isso ?

139 scala  apache-spark  apache-spark-sql  rdd 

Qual a diferença entre um RDD map e um mapPartitionsmétodo? E se flatMapcomporta como mapou como mapPartitions? Obrigado. (editar) ie qual é a diferença (semanticamente ou em termos de execução) entre def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = { rdd.mapPartitions({ iter: Iterator[A] …

133 performance  scala  apache-spark  rdd 

Da minha IU do Spark. O que significa pulado?

87 apache-spark  rdd