scala - 如何把Spark RDD中的内容按行打印出来?

问题描述

问 题

请问我想把最后wordcounts里的内容按行打印出来要怎样编写代码？，向下面这样：
means 1
under 2
this 3
...

Hadoop 流行的一个通用的数据流模式是 MapReduce。Spark 能很容易地实现 MapReduce：

scala> val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
wordCounts: spark.RDD[(String, Int)] = spark.ShuffledAggregatedRDD@71f027b8

这里，我们结合 flatMap, map 和 reduceByKey 来计算文件里每个单词出现的数量，它的结果是包含一组(String, Int) 键值对
的 RDD。我们可以使用 [collect] 操作在我们的 shell 中收集单词的数量：

scala> wordCounts.collect()
res6: Array[(String, Int)] = Array((means,1), (under,2), (this,3), (Because,1), (Python,2), (agree,1), (cluster.,1), ...)

请问我想把最后wordcounts里的内容按行打印出来要怎样编写代码？，向下面这样：
means 1
under 2
this 3
...

解决方案

你这个后面接一个saveAsTextFile("E:/text.txt")

打印控制台是 .foreach(println(_))

这篇关于scala - 如何把Spark RDD中的内容按行打印出来?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！