将Pandas数据框转换为Dask数据框 [英] Convert Pandas dataframe to Dask dataframe
本文介绍了将Pandas数据框转换为Dask数据框的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
假设我的熊猫数据框为:
Suppose I have pandas dataframe as:
df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})
当我将其转换为dask数据帧时,name
和divisions
参数应包含以下内容:
When I convert it into dask dataframe what should name
and divisions
parameter consist of:
from dask import dataframe as dd
sd=dd.DataFrame(df.to_dict(),divisions=1,meta=pd.DataFrame(columns=df.columns,index=df.index))
TypeError: init ()缺少1个必需的位置参数:"name"
TypeError: init() missing 1 required positional argument: 'name'
修改: 假设我创建了一个熊猫数据框,例如:
Edit : Suppose I create a pandas dataframe like:
pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})
类似地,如何创建dask数据框,因为它需要三个附加参数,如name,divisions
和meta
.
Similarly how to create dask dataframe as it needs three additional arguments as name,divisions
and meta
.
sd=dd.Dataframe({'a':[1,2,3],'b':[4,5,6]},name=,meta=,divisions=)
谢谢您的答复.
推荐答案
I think you can use dask.dataframe.from_pandas
:
from dask import dataframe as dd
sd = dd.from_pandas(df, npartitions=3)
print (sd)
dd.DataFrame<from_pa..., npartitions=2, divisions=(0, 1, 2)>
我找到解决方案:
import pandas as pd
import dask.dataframe as dd
from dask.dataframe.utils import make_meta
df=pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})
dsk = {('x', 0): df}
meta = make_meta({'a': 'i8', 'b': 'i8'}, index=pd.Index([], 'i8'))
d = dd.DataFrame(dsk, name='x', meta=meta, divisions=[0, 1, 2])
print (d)
dd.DataFrame<x, npartitions=2, divisions=(0, 1, 2)>
这篇关于将Pandas数据框转换为Dask数据框的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文