如何将 spark 数据框中的 WrappedArray 列转换为字符串? [英] How do I convert a WrappedArray column in spark dataframe to Strings?
本文介绍了如何将 spark 数据框中的 WrappedArray 列转换为字符串?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我正在尝试将包含 Array[String] 的列转换为 String,但我始终收到此错误
I am trying to convert a column which contains Array[String] to String, but I consistently get this error
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in stage 78.0 (TID 1691, ip-******): java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;
这是一段代码
val mkString = udf((arrayCol:Array[String])=>arrayCol.mkString(","))
val dfWithString=df.select($"arrayCol").withColumn("arrayString",
mkString($"arrayCol"))
推荐答案
WrappedArray
is not an Array
(which is plain old Java Array
不是原生 Scala 集合).您可以将签名更改为:
WrappedArray
is not an Array
(which is plain old Java Array
not a natve Scala collection). You can either change signature to:
import scala.collection.mutable.WrappedArray
(arrayCol: WrappedArray[String]) => arrayCol.mkString(",")
或使用一种超类型,如 Seq
:
or use one of the supertypes like Seq
:
(arrayCol: Seq[String]) => arrayCol.mkString(",")
在最近的 Spark 版本中,您可以使用 concat_ws
代替:
In the recent Spark versions you can use concat_ws
instead:
import org.apache.spark.sql.functions.concat_ws
df.select(concat_ws(",", $"arrayCol"))
这篇关于如何将 spark 数据框中的 WrappedArray 列转换为字符串?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文