任务坚持行为不一致 [英] dask persist behavior inconsistent

问题描述

如果我注释掉此行，我发现DaskPersistent有奇怪的行为

# client = Client(memory_limit='20GB',n_workers=1)  # Connect to distributed cluster and override default

并执行

dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()

持久化按预期运行..计算并存储在内存中，使我能够即时访问结果 但是，如果我取消注释

client = Client(memory_limit='20GB',n_workers=1)  # Connect to distributed cluster and override default

然后

dd_feature_009a013a_normalized_noneedshift = dd_feature_009a013a_normalized_noneedshift.head(1000000,compute=False).persist()
dd_feature_009a013a_normalized_noneedshift = client.persist(dd_feature_009a013a_normalized_noneedshift)

没有做任何事情。惰性数据帧立即返回...当我打开client = Client(memory_limit='20GB',n_workers=1)时，我应该做什么才能实现相同的行为？

推荐答案

当我们使用client.persist持久化一个对象时，我们会返回一个引用计算结果的未来。计算后，结果将存储在一个或多个工作器上，视情况而定。在现有的未来上运行client.persist将返回另一个未来...因此引用另一个计算可能是不必要的。

要获得未来的结果，可以对未来本身运行.result()。这将阻止进一步的命令，直到计算出未来并返回结果。

这篇关于任务坚持行为不一致的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！