我怎么才能加快团购的速度呢？ [英] How can I speed groupby?

问题描述

我有以下数据帧：

import pandas as pd
array = {'id': [1, 1, 1, 2, 2, 2, 3, 3], 'A': [False, False, True, False, False, False, True, True],
         'B': [False, True, True, False, True, False, False, False]}
df = pd.DataFrame(array)
df

我希望在一行中表示每个id。如果特定列上此id的所有值都为false，则其值应该为false。如果至少有一个是True，那么它就应该是True。 我已从以下内容开始：

df.groupby(['id']).sum()

之后，我将把每个大于0的值转换为1。 这可以很好地工作，但是我的原始数据帧有2,000,000行和14,000列，因此需要几天时间……

有没有其他更快捷的方法来完成这项任务？

推荐答案

您可以通过取每个组的最大值而不是总和来节省第二步：

df.groupby(['id']).max()

您可能会认为使用any进行聚合应该会更快，因为这样在达到第一个True之前只需计算每个子系列，但显然以下内容要慢得多(根据DYZ的评论)：

df.groupby(['id']).agg(any)

因此，我建议使用NumPy的any函数测试它，该函数可能会更好地处理此问题：

import numpy as np
df.groupby(['id']).agg(np.any)

或者您可以不使用agg，就像Henry Ecker建议的那样：

df.groupby(['id']).any()

但是，这些方法都不像人们预期的那样快。因此，您最好的选择可能是将数据帧转换为NumPy整数数组，然后在纯NumPy中进行分组。请参见this question。

这篇关于我怎么才能加快团购的速度呢？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！