如何检查是否星火RDD是在内存中？ [英] How to check if Spark RDD is in memory?

问题描述

我有org.apache.spark.rdd.RDD [MyClass的]的一个实例。
我如何可以以编程方式检查实例坚持\\ inmemory？

I have an instance of org.apache.spark.rdd.RDD[MyClass]. How can I programmatically check if the instance is persist\inmemory?

推荐答案

您想 RDD.getStorageLevel 。如果空它会返回 StorageLevel.None 。然而，这只是如果它被标记为缓存与否。如果你想的实际状态，您可以使用开发者API sc.getRDDStorageInfo 或 sc.getPersistentRDD

You want RDD.getStorageLevel. It will return StorageLevel.None if empty. However that is only if it is marked for caching or not. If you want the actual status you can use the developer api sc.getRDDStorageInfo or sc.getPersistentRDD

这篇关于如何检查是否星火RDD是在内存中？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！