hadoop中的部分排序,总排序和二次排序之间的区别 [英] Difference between partial sort, total sort and secondary sort in hadoop

查看:137
本文介绍了hadoop中的部分排序,总排序和二次排序之间的区别的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

请让我知道hadoop中部分排序,总排序和次排序之间的区别 部分排序

部分排序: -

缩减器输出将是很多文件,每个文件都是根据键在自己内部排序的。



总排序

缩减器输出将是一个文件,其所有输出都基于关键字排序。 / b>

辅助排序在这种情况下,我们将能够控制排序值可以在两个或更多的字段值上完成。


Please let me know the Difference between partial sort, total sort and secondary sort in hadoop

解决方案

Partial Sort:-

The reducer output will be lot of files each of which is sorted within itself based on the key.

Total Sort:

The reducer output will be a single file having all the output sorted based on the key.

Secondary Sort:

In this case, we will be able to control the ordering of the values along with the keys.That is sorting can be done on two or more field values.

这篇关于hadoop中的部分排序,总排序和二次排序之间的区别的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆