如何将 pandas DF转换为稀疏DF [英] How to convert panda df to sparse df

问题描述

我在DataFrame中有一个巨大的稀疏数据集，并且一直在使用df.to_parse，但它很快就会被弃用，所以我想切换到pd.Series(pd.SparseArray())，但不确定如何对整个DataFrame执行此操作？

我的最终df是100K行和49K列，因此需要一种自动方式。

推荐答案

您可以尝试如下操作：

dtype = {key: pd.SparseDtype(df.dtypes[key].type, fill_value=df[key].value_counts().argmax()) for key in df.dtypes.keys()}

df = df.astype(dtype)

，然后使用df.sparse.density检查密度。

这将为每列创建稀疏数据，并将最频繁的值作为填充值。

(但不确定这是否是最佳方法)

这篇关于如何将 pandas DF转换为稀疏DF的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！