如何列出星火外壳定义RDDS？ [英] How to list RDDs defined in Spark shell?

问题描述

在这两个火花壳或pyspark炮弹，我创造了许多RDDS但我找不到任何方式，通过它我可以列出所有可用的RDDS在我目前壳牌火花？​​

In both "spark-shell" or "pyspark" shells, I created many RDDs but I could not find any way through which I can list all the available RDDs in my current session of Spark Shell?

推荐答案

在Python中，你可以简单地试图筛选全局按类型：

In Python you can simply try to filter globals by type:

def list_rdds():
    from pyspark import RDD
    return [k for (k, v) in globals().items() if isinstance(v, RDD)]

list_rdds()
# []

rdd = sc.parallelize([])
list_rdds()
# ['rdd']

在斯卡拉REPL，你应该能够以类似的方法是使用 $ intp.definedTerms / $ intp.typeOfTerm 方式。

In Scala REPL you should be able to use $intp.definedTerms / $intp.typeOfTerm in a similar way.

这篇关于如何列出星火外壳定义RDDS？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！