Daskmap_Partitions(pd.Cut、bins)实际上会对整个数据帧进行操作吗？ [英] Will dask map_partitions(pd.cut, bins) actually operate on entire dataframe?

问题描述

我需要在DaskDataFrame上使用pd.Cut。

This answer指示map_artitions将通过将pd.Cut作为函数传递来工作。

似乎map_artitions一次只将一个分区传递给该函数。但是，pd.Cut需要访问我的df的整个列才能创建回收站。因此，我的问题是：这种情况下的map_Partitions实际上是对整个数据帧进行操作，还是使用这种方法会得到不正确的结果？

推荐答案

在您的问题中，您正确地指出了为什么应该明确提供垃圾箱。

通过指定准确的仓切(基于某些计算或外部推理)，您可以确保DASK所做的操作在不同分区之间具有可比性。

# this does not guarantee comparable cuts
ddf['a'].map_partitions(pd.cut)

# this ensures the cuts are as per the specified bins
ddf['a'].map_partitions(pd.cut, bins)

如果您想要自动生成bin，一种方法是获取感兴趣列的最小/最大值并使用np.linspace：

生成bin

# note that computation is needed to give
# actual (not delayed) values to np.linspace
bmin, bmax = dask.compute(ddf['a'].min(), ddf['a'].max)

# specify the number of desired cuts here
bins = np.linspace(bmin, bmax, num=123)

这篇关于Daskmap_Partitions(pd.Cut、bins)实际上会对整个数据帧进行操作吗？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！