Spark 中的倾斜数据集连接? [英] Skewed dataset join in Spark?

问题描述

我正在使用 Spark RDD 加入两个大型数据集.一个数据集非常倾斜，因此很少有执行器任务需要很长时间才能完成工作.我该如何解决这种情况?

I am joining two big datasets using Spark RDD. One dataset is very much skewed so few of the executor tasks taking a long time to finish the job. How can I solve this scenario?

推荐答案

关于如何完成的非常好的文章:https://datarus.wordpress.com/2015/05/04/fighting-the-skew-in-spark/

Pretty good article on how it can be done: https://datarus.wordpress.com/2015/05/04/fighting-the-skew-in-spark/

简短版本:

• 将随机元素添加到大型 RDD 并使用它创建新的连接键
• 使用explode/flatMap向小RDD添加随机元素以增加条目数并创建新的连接键
• 在新的连接键上加入 RDD，由于随机播种，现在将更好地分配

这篇关于Spark 中的倾斜数据集连接?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！