如何查看Dask计算任务的进度? [英] How to see progress of Dask compute task?

问题描述

当我使用 Dask 运行计算任务时，我想在 Jupyter 笔记本上看到一个进度条，我正在计算一个 +4GB 大型 csv 文件中 id 列的所有值，所以有什么想法吗?

I would like to see a progress bar on Jupyter notebook while I'm running a compute task using Dask, I'm counting all values of id column from a large csv file +4GB, so any ideas?

import dask.dataframe as dd

df = dd.read_csv('data/train.csv')
df.id.count().compute()

推荐答案

如果您使用的是单机调度程序，请执行以下操作:

If you're using the single machine scheduler then do this:

from dask.diagnostics import ProgressBar
ProgressBar().register()

http://dask.pydata.org/en/latest/diagnostics-本地.html

如果您使用分布式调度程序，请执行以下操作:

If you're using the distributed scheduler then do this:

from dask.distributed import progress

result = df.id.count.persist()
progress(result)

或者只是使用仪表板

http://dask.pydata.org/en/latest/diagnostics-分布式.html

这篇关于如何查看Dask计算任务的进度?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！