如何选择从JavaPairRDD前N个元素呢？ -Apache星火 [英] How to select top N elements from a JavaPairRDD ? -Apache Spark

问题描述

我得到了一个键/值对，并整理到一个新的JavaPairRDD

I have obtained a key/value pair, and sorted it into a new JavaPairRDD

现在，我需要从它的前5名的元素，那就是，以获取新的JavaPairRDD在它的前5个元素。

Now, I need to select the top 5 elements from it, that is, to obtain a new JavaPairRDD with those top 5 elements in it.

我将如何做呢？

有一个比使用flatMap简单的方法，因为它似乎是不必要的额外工作？

Is there a simpler way than using the flatMap, since it seems like the unnecessary extra work ?

谢谢！

推荐答案

假设你不关心顺序，则可以使用 RDD.take（5）来获得第5元素在RDD。

Assuming you don't care about order, you can use RDD.take(5) to get the first 5 elements in an RDD.

这篇关于如何选择从JavaPairRDD前N个元素呢？ -Apache星火的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！