还有比 pandas 填充()更快的方法吗？ [英] Any quicker way than pandas fillna()?

问题描述

Pandasfillna()速度明显较慢，尤其是在数据帧中有大量丢失数据的情况下。

有没有比这更快的方法？

(我知道如果我只删除包含Nas的一些行和/或列会有所帮助)

推荐答案

我尝试测试：

np.random.seed(123)
N = 60000
df = pd.DataFrame(np.random.choice(['a', None], size=(N, 20), p=(.7, .3)))

---

In [333]: %timeit df.fillna('b')
93.5 ms ± 1.28 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [337]: %timeit df[df.isna()] = 'b'
122 ms ± 2.75 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

略有更改的解决方案(但我觉得有点老套)：

#pandas below
In [335]: %timeit df.values[df.isna()] = 'b'
56.7 ms ± 799 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

#pandas 0.24+
In [339]: %timeit df.to_numpy()[df.isna()] = 'b'
56.5 ms ± 951 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

这篇关于还有比 pandas 填充()更快的方法吗？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！