写RDD到CSV [英] Writing a RDD to a csv

问题描述

我有一个RDD这是形式

  org.apache.spark.rdd.RDD [（字符串，数组[字符串]）]
 

我想写到CSV文件中这一点。请建议我如何可以做到这一点。

做myrdd.saveAsTextFile上给出了如下的输出。

 （875，[Ljava.lang.String; @ 53620618）
（875，[Ljava.lang.String; @ 487e3c6c）
 

解决方案

您可以试试：

  myrdd.map（A =＆GT; a._1 +，+ a._2.mkString（））saveAsTextFile。
 

I have a RDD which is of the form

org.apache.spark.rdd.RDD[(String, Array[String])]

I want to write this into a csv file. Please suggest me how this can be done.

Doing myrdd.saveAsTextFile on gives the output as below.

(875,[Ljava.lang.String;@53620618)
(875,[Ljava.lang.String;@487e3c6c)

解决方案

You can try:

myrdd.map(a => a._1 + "," + a._2.mkString(",")).saveAsTextFile

这篇关于写RDD到CSV的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！