从NumPy掩码数组创建Pandas DataFrame？ [英] Creating a Pandas DataFrame from a NumPy masked array?

问题描述

我正在尝试从NumPy掩码数组创建一个PandasDataFrame，我知道这是一个受支持的操作。以下是源数组的示例：

a = ma.array([(1, 2.2), (42, 5.5)],
             dtype=[('a',int),('b',float)],
             mask=[(True,False),(False,True)])

哪个输出为：

masked_array(data=[(--, 2.2), (42, --)],
             mask=[( True, False), (False,  True)],
       fill_value=(999999, 1.e+20),
            dtype=[('a', '<i8'), ('b', '<f8')])

尝试使用pd.DataFrame(a)创建DataFrame返回：

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-40-a4c5236a3cd4> in <module>
----> 1 pd.DataFrame(a)

/usr/local/anaconda/lib/python3.8/site-packages/pandas/core/frame.py in __init__(self, data, index, columns, dtype, copy)
    636             # a masked array
    637             else:
--> 638                 data = sanitize_masked_array(data)
    639                 mgr = ndarray_to_mgr(
    640                     data,

/usr/local/anaconda/lib/python3.8/site-packages/pandas/core/construction.py in sanitize_masked_array(data)
    452     """
    453     mask = ma.getmaskarray(data)
--> 454     if mask.any():
    455         data, fill_value = maybe_upcast(data, copy=True)
    456         data.soften_mask()  # set hardmask False if it was True

/usr/local/anaconda/lib/python3.8/site-packages/numpy/core/_methods.py in _any(a, axis, dtype, out, keepdims, where)
     54     # Parsing keyword arguments is currently fairly slow, so avoid it for now
     55     if where is True:
---> 56         return umr_any(a, axis, dtype, out, keepdims)
     57     return umr_any(a, axis, dtype, out, keepdims, where=where)
     58 

TypeError: cannot perform reduce with flexible type

是否确实支持此操作？当前使用的是Pandas 1.3.3和NumPy 1.20.3。

更新

这是否受支持？ 根据Pandas documentation here：

或者，您也可以将数字.MaskedArray作为Data参数传递给DataFrame构造函数，它的掩码条目将被视为丢失。

上面的代码是我提出的问题，如果我将一个NumPy掩码数组传递给Pandas，我会得到什么？但这正是我希望得到的结果。上面是我能想到的最简单的例子。

我确实希望 pandas 中的每个系列/列都是单一类型的。

更新2

任何对此感兴趣的人都可能会看到此PandasGitHub issue；注意到Pandas已弃用对MaskedRecords的支持。

推荐答案

如果数组具有简单数据类型，则数据帧创建工作(如文档所述)：

In [320]: a = np.ma.array([(1, 2.2), (42, 5.5)],
     ...:    mask=[(True,False),(False,True)])
In [321]: a
Out[321]: 
masked_array(
  data=[[--, 2.2],
        [42.0, --]],
  mask=[[ True, False],
        [False,  True]],
  fill_value=1e+20)
In [322]: import pandas as pd
In [323]: pd.DataFrame(a)
Out[323]: 
      0    1
0   NaN  2.2
1  42.0  NaN

Thisa为(2，2)，结果为2行2列

使用复合dtype，形状为1D：

In [326]: a = np.ma.array([(1, 2.2), (42, 5.5)],
     ...:              dtype=[('a',int),('b',float)],
     ...:              mask=[(True,False),(False,True)])
In [327]: a.shape
Out[327]: (2,)

该错误是对掩码进行测试的结果。flexible type指您的化合物dtype：

In [330]: a.mask.any()
Traceback (most recent call last):
  File "<ipython-input-330-8dc32ee3f59d>", line 1, in <module>
    a.mask.any()
  File "/usr/local/lib/python3.8/dist-packages/numpy/core/_methods.py", line 57, in _any
    return umr_any(a, axis, dtype, out, keepdims)
TypeError: cannot perform reduce with flexible type

文档中的 pandas 功能显然不适用于结构化数组。如果不研究PANDA代码，我就不能确切地说出它在这一点上试图做什么，但很明显，代码在编写时并没有考虑到结构化数组。

非屏蔽部分可以使用所需的列数据类型：

In [332]: pd.DataFrame(a.data)
Out[332]: 
    a    b
0   1  2.2
1  42  5.5

使用默认fill：

In [344]: a.filled()
Out[344]: 
array([(999999, 2.2e+00), (    42, 1.0e+20)],
      dtype=[('a', '<i8'), ('b', '<f8')])
In [345]: pd.DataFrame(a.filled())
Out[345]: 
        a             b
0  999999  2.200000e+00
1      42  1.000000e+20

我必须更多地查看ma文档/代码，以了解是否可以对这两个字段应用不同的填充。用nan填充不适用于int字段。numpy没有pandas'int None。我还没有使用过足够多的PANDA功能，无法知道结果dtype是仍然是int，还是被更改为Object。

无论如何，您使用此任务都是在挑战np.ma和pandas的界限。

编辑

默认的Fill_Value是一个元组，每个字段对应一个：

In [350]: a.fill_value
Out[350]: (999999, 1.e+20)

这样我们就可以用不同的方式填充这些字段，并从中创建一个框架：

In [351]: a.filled((-1, np.nan))
Out[351]: array([(-1, 2.2), (42, nan)], dtype=[('a', '<i8'), ('b', '<f8')])
In [352]: pd.DataFrame(a.filled((-1, np.nan)))
Out[352]: 
    a    b
0  -1  2.2
1  42  NaN

看起来我可以用Pandas dtype及其关联的Fill_Value：

创建一个结构化数组

In [363]: a = np.ma.array([(1, 2.2), (42, 5.5)],
     ...:              dtype=[('a',pd.Int64Dtype),('b',float)],
     ...:              mask=[(True,False),(False,True)],
                       fill_value=(pd.NA,np.nan))
In [364]: a
Out[364]: 
masked_array(data=[(--, 2.2), (42, --)],
             mask=[( True, False), (False,  True)],
       fill_value=(<NA>, nan),
            dtype=[('a', 'O'), ('b', '<f8')])

In [366]: pd.DataFrame(a.filled())
Out[366]: 
      a    b
0  <NA>  2.2
1    42  NaN

这篇关于从NumPy掩码数组创建Pandas DataFrame？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！