Spark:使用同一RDD中的其他元素映射RDD的元素 [英] Spark: Mapping elements of an RDD using other elements from the same RDD

问题描述

假设我有一个rdd:

val r = sc.parallelize(Array(1,4,2,3))

我想做的是创建一个映射.例如:

What I want to do is create a mapping. e.g:

r.map(val => val + func(all other elements in r)).

这有可能吗?

推荐答案

我不知道是否有更有效的替代方法，但我首先会创建一些结构，例如:

I don't know if there is a more efficient alternative, but I would first create some structure like:

rdd = sc.parallelize([ (1, [4,2,3]), (4, [1,2,3]), (2, [1,4,3]), (3, [1,4,2]));
rdd = rdd.map(lambda (x,y) => x + func(y));

这篇关于Spark:使用同一RDD中的其他元素映射RDD的元素的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！