Spark将数据集转换为RDD [英] Spark converting a Dataset to RDD

查看:97
本文介绍了Spark将数据集转换为RDD的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我有一个数据集[String],需要转换为RDD [String].怎么样?

I have a Dataset[String] and need to convert to a RDD[String]. How?

注意:我最近已经从spark 1.6迁移到spark 2.0.我的一些客户期望使用RDD,但现在Spark为我提供了数据集.

Note: I've recently migrated from spark 1.6 to spark 2.0. Some of my clients were expecting RDD but now Spark gives me Dataset.

推荐答案

如scala中所述

As stated in the scala API documentation you can call .rdd on your Dataset :

val myRdd : RDD[String] = ds.rdd

这篇关于Spark将数据集转换为RDD的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆