Spark将数据集转换为RDD [英] Spark converting a Dataset to RDD
本文介绍了Spark将数据集转换为RDD的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个数据集[String],需要转换为RDD [String].怎么样?
I have a Dataset[String] and need to convert to a RDD[String]. How?
注意:我最近已经从spark 1.6迁移到spark 2.0.我的一些客户期望使用RDD,但现在Spark为我提供了数据集.
Note: I've recently migrated from spark 1.6 to spark 2.0. Some of my clients were expecting RDD but now Spark gives me Dataset.
推荐答案
As stated in the scala API documentation you can call .rdd
on your Dataset :
val myRdd : RDD[String] = ds.rdd
这篇关于Spark将数据集转换为RDD的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文