为什么我的火花流工作有这么多任务 [英] why there are so many tasks in my spark streaming job

问题描述

我想知道为什么我的火花流工作中有这么多任务编号？它变得越来越大...

运行3.2h后，增长到120020。运行一天后，它将增长到100万...为什么？

推荐答案

此SparkUI功能意味着某些阶段依赖项可能已计算过，也可能没有计算过，但由于其输出已可用而被跳过。因此，它们表现为skipped。

请不要使用might，这意味着在作业完成Spark之前，无法确定是否需要返回并重新计算最初跳过的某些阶段。

[1]https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/ui/jobs/JobProgressListener.scala#L189

这篇关于为什么我的火花流工作有这么多任务的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！