Spark历史记录WebUI上未显示Spark缓存RDD-存储 [英] Spark cache RDD don't show up on Spark History WebUI - Storage

问题描述

我在CDH-5.4.4中使用Spark-1.4.1.

我使用rdd.cache()函数，但在Spark History WebUI上的Storage tab中什么也没显示

I use rdd.cache() function but it show nothing in Storage tab on Spark History WebUI

有人有同样的问题吗?如何解决?

Does anyone has the same issues? How to fix it?

推荐答案

您的RDD仅在被评估后才被缓存，强制评估(因此填充缓存)的最常见方法是调用count，例如:

Your RDD will only be cached once its been evaluated, the most common way to force evaluation (and therefor populate the cache) is to call count e.g:

rdd.cache() // Nothing in storage page yet & nothing cached
rdd.count() // RDD evaluated, cached & in storage page.

这篇关于Spark历史记录WebUI上未显示Spark缓存RDD-存储的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！