scala - Spark: 如果我想使用美元号来表示数据列,应该引入哪个包?

查看:116
本文介绍了scala - Spark: 如果我想使用美元号来表示数据列,应该引入哪个包?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

我看到文档里写 Spark 中可以用 $"name" 的形式表示 name 这一列。

我的代码类似这样的:

initialDataFrame.join(broadcast(usersToKeep), $"userID" === $"userID_")

但是编译错误,提示我:

value $ is not a member of StringContext

我应该引入哪个包才能使用这种语法?

PS:我用的 spark 版本是 1.5,scala 版本是 2.10.4

解决方案

spark2.0下面:参考

import spark.implicits._

老版本(未亲测)

import sqlContext.implicits._

这篇关于scala - Spark: 如果我想使用美元号来表示数据列,应该引入哪个包?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆