PairRDD的总和 [英] Sum values of PairRDD

问题描述

我有一个RDD类型:

dataset :org.apache.spark.rdd.RDD[(String, Double)] = MapPartitionRDD[26]

等同于(Pedro, 0.0833), (Hello, 0.001828) ...

我想对所有值求和，0.0833+0.001828..，但是我找不到合适的值 解决方案.

I'd like to sum all the value , 0.0833+0.001828.. but I can't find a proper solution.

推荐答案

考虑到您的输入数据，您可以执行以下操作:

Considering your input data, you can do the following :

// example
val datasets = sc.parallelize(List(("Pedro", 0.0833), ("Hello", 0.001828))) 
datasets.map(_._2).sum()
// res3: Double = 0.085128
// or
datasets.map(_._2).reduce(_ + _)
// res4: Double = 0.085128
// or even
datasets.values.sum()
// res5: Double = 0.085128

这篇关于PairRDD的总和的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！