如何使用Java在Spark DataFrame中将单行拆分为多行 [英] How to split single row into multiple rows in Spark DataFrame using Java
本文介绍了如何使用Java在Spark DataFrame中将单行拆分为多行的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个如图所示的表:
I have a table as shown:
我想使用 Spark Java 或 Spark Scala
推荐答案
确保您具有唯一的列名,您可以执行以下操作:
make sure you have unique column names, denn you can do :
import or.apache.spark.sql.functions._
table
.select("id","movie",explode(array("cast1", "cast2", "cast3", "cast4")).as("cast"))
.where(col("cast").isNotNull)
这篇关于如何使用Java在Spark DataFrame中将单行拆分为多行的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文