MapReduce混洗/排序方法 [英] MapReduce shuffle/sort method

问题描述

有点奇怪的问题，但是有人知道MapReduce在shuffle / sort的排序部分中使用了什么类型的排序吗？我认为合并或插入（符合整个MapReduce范例），但我不确定。

之后，将排序的中间输出合并在一起。
Quicksort检查递归深度，并在其太深时放弃。如果是这种情况，则使用Heapsort。

查看Quicksort类：

  org.apache .hadoop.util.QuickSort 
  

您可以通过map.sort.class中的值更改所使用的算法 hadoop-default。 xml 。

Somewhat of an odd question, but does anyone know what kind of sort MapReduce uses in the sort portion of shuffle/sort? I would think merge or insertion (in keeping with the whole MapReduce paradigm), but I'm not sure.

解决方案

It's Quicksort, afterwards the sorted intermediate outputs get merged together. Quicksort checks the recursion depth and gives up when it is too deep. If this is the case, Heapsort is used.

Have a look at the Quicksort class:

org.apache.hadoop.util.QuickSort

You can change the algorithm used via the map.sort.class value in the hadoop-default.xml.

这篇关于MapReduce混洗/排序方法的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！