如何在对RDD中找到最大值? [英] How to find max value in pair RDD?

问题描述

我有一个火花对RDD(键，计数)如下

I have a spark pair RDD (key, count) as below

Array[(String, Int)] = Array((a,1), (b,2), (c,1), (d,3))

如何使用 spark scala API 找到计数最高的键?

How to find the key with highest count using spark scala API?

对 RDD 的数据类型是 org.apache.spark.rdd.RDD[(String, Int)]

datatype of pair RDD is org.apache.spark.rdd.RDD[(String, Int)]

推荐答案

使用 Array.maxBy 方法:

val a = Array(("a",1), ("b",2), ("c",1), ("d",3))
val maxKey = a.maxBy(_._2)
// maxKey: (String, Int) = (d,3)

或 RDD.max:

val maxKey2 = rdd.max()(new Ordering[Tuple2[String, Int]]() {
  override def compare(x: (String, Int), y: (String, Int)): Int = 
      Ordering[Int].compare(x._2, y._2)
})

这篇关于如何在对RDD中找到最大值?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！