什么是Spark中的血统? [英] What is Lineage In Spark?

问题描述

沿袭如何帮助重新计算数据?

How lineage helps to recompute data ?

例如，我有几个节点，每个节点在30分钟内计算数据.如果一个人在15分钟后失败了，我们是否可以重新使用沿袭重新计算在15分钟内处理的数据而又不给15分钟?

For example, I'm having several nodes computing data for 30 minutes each. If one fails after 15 minutes, can we recompute data processed in 15 minutes again using lineage without giving 15 minutes again ?

推荐答案

关于谱系的所有知识都在RDD的定义中.

Everthing to understand about lineage is in the definition of RDD.

所以让我们回顾一下:

RDD是数据元素的不可变分布式集合，可以将其存储在计算机集群中的内存或磁盘中.数据在群集中的计算机之间分区，可以与提供转换和操作的低级API并行操作. RDD容错，因为它们跟踪数据沿袭信息以在发生故障时自动重建丢失的数据

所以主要有两件事要理解:

So there is mainly 2 things to understand :

• >沿袭如何获得在RDD中传递下来了?

内部如何产生火花?

不幸的是，这些主题在一个答案中讨论的时间很长.我建议您花一些时间阅读它们，并阅读以下有关数据沿袭的文章.

Unfortunately, these topics are quite long to discuss in a single answer. I recommend you take some time reading them along with this following article about Data Lineage.

现在回答您的问题和疑问:

And now to answer your question and doubts :

如果执行程序无法计算您的数据，则在15分钟后，它会返回到您的最后一个检查点，无论它是来自 source 还是缓存在内存和/或磁盘上.

If an executor fails computing your data, after 15 minutes, it will go back to your last checkpoint, whether it's from the source or cache in memory and/or on disk.

因此，它不会为您节省您提到的那15分钟！

Thus, it will not save you those 15 minutes that you have mentioned !

这篇关于什么是Spark中的血统?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！