如何在 Spark 中平面映射嵌套的数据框 [英] How to flatmap a nested Dataframe in Spark
本文介绍了如何在 Spark 中平面映射嵌套的数据框的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有如下所示的嵌套字符串.我想平面映射它们以在 Spark 中生成唯一的行
I have nested string like as shown below. I want to flat map them to produce unique rows in Spark
我的数据框有
A,B,"x,y,z",D
我想把它转换成像
A,B,x,D
A,B,y,D
A,B,z,D
我该怎么做.
基本上我如何做平面地图并在数据框内应用任何函数
Basically how can i do flat map and apply any function inside the Dataframe
谢谢
推荐答案
Spark 2.0+
Dataset.flatMap
:
val ds = df.as[(String, String, String, String)]
ds.flatMap {
case (x1, x2, x3, x4) => x3.split(",").map((x1, x2, _, x4))
}.toDF
Spark 1.3+.
使用 split
和 explode
函数:
val df = Seq(("A", "B", "x,y,z", "D")).toDF("x1", "x2", "x3", "x4")
df.withColumn("x3", explode(split($"x3", ",")))
Spark 1.x
DataFrame.explode
(在 Spark 2.x 中已弃用)
DataFrame.explode
(deprecated in Spark 2.x)
df.explode($"x3")(_.getAs[String](0).split(",").map(Tuple1(_)))
这篇关于如何在 Spark 中平面映射嵌套的数据框的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文