Como imprimir o conteúdo de RDD?

Estou tentando imprimir o conteúdo de uma coleção no console do Spark.

Eu tenho um tipo:

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

E eu uso o comando:

scala> linesWithSessionId.map(line => println(line))

Mas isto é impresso:

res1: org.apache.spark.rdd.RDD [Unidade] = MappedRDD [4] no mapa em: 19

Como gravar o RDD no console ou salvá-lo no disco para que eu possa visualizar seu conteúdo?

Se você deseja visualizar o conteúdo de um RDD, uma maneira é usar collect():

myRDD.collect().foreach(println)

Essa não é uma boa ideia, porém, quando o RDD possui bilhões de linhas. Use take()apenas alguns para imprimir:

myRDD.take(n).foreach(println)

A mapfunção é uma transformação , o que significa que o Spark não avaliará seu RDD até que você execute uma ação nele.

Para imprimi-lo, você pode usar foreach(que é uma ação):

linesWithSessionId.foreach(println)

Para gravá-lo no disco, você pode usar uma das saveAs...funções (ações estáticas) da API RDD

Se você estiver executando isso em um cluster, printlnnão imprimirá de volta ao seu contexto. Você precisa trazer os RDDdados para sua sessão. Para fazer isso, você pode forçá-lo à matriz local e imprimi-lo:

linesWithSessionId.toArray().foreach(line => println(line))

Você pode converter seu RDDpara um DataFrameentão show().

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

Isso mostrará as 20 principais linhas de seus dados, portanto, o tamanho dos seus dados não deve ser um problema.

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

Provavelmente existem muitas diferenças arquitetônicas entre myRDD.foreach(println)e myRDD.collect().foreach(println)(não apenas 'coletar', mas também outras ações). Uma das diferenças que vi foi ao fazer myRDD.foreach(println), a saída será em uma ordem aleatória. Por exemplo: se meu rdd é proveniente de um arquivo de texto em que cada linha tem um número, a saída terá uma ordem diferente. Mas quando eu fiz myRDD.collect().foreach(println), a ordem permanece igual ao arquivo de texto.

Em python

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

Isso imprimirá todo o conteúdo do RDD

c.take(10)

e a versão mais recente do Spark mostrará bem a tabela.

Em vez de digitar cada vez, você pode;

[1] Crie um método de impressão genérico dentro do Spark Shell.

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2] Ou melhor ainda, usando implícitos, você pode adicionar a função à classe RDD para imprimir seu conteúdo.

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

Exemplo de uso:

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

Resultado:

2
6
4
8

Importante

Isso só faz sentido se você estiver trabalhando no modo local e com uma pequena quantidade de conjunto de dados. Caso contrário, você não poderá ver os resultados no cliente ou ficar sem memória devido ao grande resultado do conjunto de dados.

Você também pode salvar como um arquivo: rdd.saveAsTextFile("alicia.txt")

Na sintaxe java:

rdd.collect().forEach(line -> System.out.println(line));