如何在火花输出中删除CompactBuffer [英] how to remove compactbuffer in spark output

问题描述

下面是我在Spark Shell中运行的程序，但是当我将输出保存在HDFS中时，我正在使用compactbuffer输出.如何删除spark输出中的compactbuffer.

below is program i ran in spark shell,but when i save output in HDFS i am getting output with compactbuffer.how to remove compactbuffer in spark output.

程序:

val a=sc.textFile("/datagen_10.txt")

val b=a.map(p=>(p.split(",")(1),p.split(2))

val c=sc.textFile("/drug.txt")

val d =c.map(p=>(p.split(",")(1),p.split(",")(0)))

val e=b.cogroup(d)

e.saveAsTextfile("/cogroup")

输出:

(avil,(CompactBuffer(Brandon Buckner, Veda Hopkins, Mara Higgins, Sybill 

Crosby, Ivan Hale),CompactBuffer(1)))

(metacin,(CompactBuffer(Len Burgess),CompactBuffer(2)))

(paracetamol,(CompactBuffer(Zia Underwood, Austin Mayer, Tyler Rosales, Alika 

Gilmore),CompactBuffer(3)))

推荐答案

您将手动创建输出字符串，例如:

You'll have create output strings manually, for example:

e.map{case (k, (xs, ys)) => 
  s"""($k, ((${xs.mkString(",")}), (${ys.mkString(",")}))"""}

这篇关于如何在火花输出中删除CompactBuffer的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！