Spark将列值拆分为多行 [英] Spark split a column value into multiple rows

问题描述

我的问题是我有一个这样的表:

My problem is I have a table like this:

------------------------
A  B    C
------------------------
a1 b2   c1|c2|c3|c4

c1 | c2 | c3 | c4是一个由|分隔的值.

c1|c2|c3|c4 is one value separated by |.

我的最终结果应如下所示:

My final result should look like this:

---------
A  B   C
---------
a1 b1  c1
a1 b1  c2
a1 b1  c3
a1 b1  c4

我该怎么做?

谢谢

推荐答案

这就是您可以做的，使用spark函数

This is what you could do, split the string with pipe and explode the data using spark function

import org.apache.spark.sql.functions._
import spark.implicits._

val df = Seq(("a1", "b1", "c1|c2|c3|c4")).toDF("A", "B", "C")

df.withColumn("C", explode(split($"C", "\\|"))).show

输出:

+---+---+---+
|  A|  B|  C|
+---+---+---+
| a1| b1| c1|
| a1| b1| c2|
| a1| b1| c3|
| a1| b1| c4|
+---+---+---+

希望这会有所帮助！

这篇关于Spark将列值拆分为多行的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！