feather相关内容

有没有办法在行而不是列中处理pandas.DataFrame的数据类型?

parquet、feather和hdf5等大数据文件格式能够与面向列的表配合使用,以加快读取列的速度。 在我的用例中,我希望从netcdf4文件切换到feather文件格式,因为我读取某些列的速度比使用netcdf4快10倍。但不幸的是,我正在丢失增加文件大小的dtype规范。 所以我的想法是定义行的数据类型,但 pandas 只接受列数据类型。 有没有一种方法可以更像以列为导向的表 ..
发布时间:2022-05-11 23:00:03 Python

如何添加“可选数据集描述"?羽毛文件?

feather_metadata的R帮助说明“返回维,字段名称和类型;以及可选的数据集描述".但是没有有关如何添加数据描述的信息.我希望可以将其添加为属性,但这似乎不起作用. library(feather) dat ..
发布时间:2020-07-22 21:41:35 其他开发

将文件夹中的许多羽毛文件加载到dask中

在一个包含许多.feather文件的文件夹中,我想将所有文件加载到python中的dask中. 到目前为止,我已经尝试了以下来自GitHub上类似问题的内容 https://github.com/dask/dask/issues/1277 files = [...] dfs = [dask.delayed(feather.read_dataframe)(f) for f in file ..
发布时间:2020-07-22 21:40:29 Python

使用python将Excel转换为Feather格式

我有一个大约100个大型excel文件的列表(每天都在增加),我使用Python对其进行了分析.由于我必须对所有文件运行多个循环,因此我的分析越来越慢.因此,我想将所有excel文件转换为羽毛格式(例如每周一次).有聪明的方法吗?到目前为止,我已经尝试过: path = r"filepath\*_name*.xlsx" file_list = glob.glob(path) for f in ..
发布时间:2020-07-22 21:40:27 Python

尝试将DataFrame写入Feather时出错.羽毛支持列表列吗?

我正在使用R和Python,并且我想将其中一个熊猫DataFrame作为羽毛编写,以便可以在R中更轻松地使用它.但是,当我尝试将其编写为羽毛时,我得到了以下错误: ArrowInvalid: trying to convert NumPy type float64 but got float32 我仔细检查了我的列类型,它们已经是浮点数64: In[1] df.dtypes Ou ..
发布时间:2020-06-26 13:38:56 Python

羽毛和镶木地板有什么区别?

这两种都是列(磁盘)存储格式,用于数据分析系统. 两者都集成在 Apache Arrow (箭头对应,作为列式内存分析层. 两种格式有何不同? 在可能的情况下,与熊猫一起工作时,您总是喜欢羽毛吗? 在什么情况下羽毛更合适比 parquet 和 反过来? 附录 我在这里找到了一些提示 https://github.com/wesm/feather/issues/188 ..
发布时间:2020-05-23 22:11:44 Python