如何根据其他列在火花中添加地图列? [英] How to add map column in spark based on other column?
本文介绍了如何根据其他列在火花中添加地图列?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有这张桌子:
|Name|Val|
|----|---|
|Bob |1 |
|Marl|3 |
我想将其转换为具有单个元素的地图,如下所示:
And I want to transform it to a map with single element like this:
|Name|Val|MapVal|
|----|---|------|
|Bob |1 |(0->1)|
|Marl|3 |(0->3)|
知道如何在 Scala 中做到这一点吗?我找不到在 withColumn
语句中构建地图的任何方法...
Any idea how to do it in scala?
I couldn't find any way to build a map in withColumn
statement...
推荐答案
找到了 - 只需要包含隐含的 sql:
Found it - Just need to include the implicit sql:
import org.apache.spark.sql.functions._
然后使用map
函数:df.withColumn("MapVal", map(lit(0), col("Val")))
这篇关于如何根据其他列在火花中添加地图列?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文