如何使用Java在Spark DataFrame中将单行拆分为多行 [英] How to split single row into multiple rows in Spark DataFrame using Java

问题描述

我有一个如图所示的表:

I have a table as shown:

我想使用 Spark Java 或 Spark Scala

推荐答案

确保您具有唯一的列名，您可以执行以下操作:

make sure you have unique column names, denn you can do :

import or.apache.spark.sql.functions._

table
  .select("id","movie",explode(array("cast1", "cast2", "cast3", "cast4")).as("cast"))
  .where(col("cast").isNotNull)

这篇关于如何使用Java在Spark DataFrame中将单行拆分为多行的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！