Spark:将RDD(键,列表)扩展为RDD(键,值) [英] Spark: Expansion of RDD(Key, List) to RDD(Key, Value)

查看:87
本文介绍了Spark:将RDD(键,列表)扩展为RDD(键,值)的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

所以我有这样的RDD

So I have an RDD of something like this

RDD[(Int, List)]]

RDD中的单个元素看起来像

Where a single element in the RDD looks like

(1, List(1, 2, 3))

我的问题是如何将键值对扩展为类似这样的内容

My question is how can I expand the key value pair to something like this

(1,1)
(1,2)
(1,3)

谢谢

推荐答案

rdd.flatMap { case (key, values) => values.map((key, _)) }

这篇关于Spark:将RDD(键,列表)扩展为RDD(键,值)的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆