歪斜的数据集加入Spark? [英] Skewed dataset join in Spark?

问题描述

我正在使用Spark RDD加入两个大数据集.一个数据集非常不对称，因此很少有执行程序任务需要很长时间才能完成工作.我该如何解决这种情况?

I am joining two big datasets using Spark RDD. One dataset is very much skewed so few of the executor tasks taking a long time to finish the job. How can I solve this scenario?

推荐答案

关于如何完成操作的相当不错的文章:

Pretty good article on how it can be done: https://datarus.wordpress.com/2015/05/04/fighting-the-skew-in-spark/

简短版本:

• 在大型RDD中添加随机元素，并使用它创建新的联接密钥
• 使用explode/flatMap将随机元素添加到小型RDD中以增加条目数并创建新的联接键
• 在新的联接密钥上加入RDD，由于随机种子，现在可以更好地分配它们

这篇关于歪斜的数据集加入Spark?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！