如何基于其他列在Spark中添加地图列? [英] How to add map column in spark based on other column?

问题描述

我有这张桌子:

|Name|Val|
|----|---|
|Bob |1  |
|Marl|3  |

我想将其转换为具有单个元素的地图，如下所示:

And I want to transform it to a map with single element like this:

|Name|Val|MapVal|
|----|---|------|
|Bob |1  |(0->1)|
|Marl|3  |(0->3)|

有什么想法如何在Scala中做到吗? 我找不到在withColumn语句中构建地图的任何方法...

Any idea how to do it in scala? I couldn't find any way to build a map in withColumn statement...

推荐答案

找到了它-只需包含隐式sql:

Found it - Just need to include the implicit sql:

import org.apache.spark.sql.functions._

，然后使用map函数: df.withColumn("MapVal", map(lit(0), col("Val")))

这篇关于如何基于其他列在Spark中添加地图列?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！