我可以将 Pandas 数据帧转换为 spark rdd 吗? [英] Can I convert pandas dataframe to spark rdd?

问题描述

项目管理:

a) 将本地文件读入 Panda 数据帧，如 PD_DFb) 操作/Massge PD_DF 并将列添加到数据框c) 需要使用 spark 将 PD_DF 写入 HDFS.我该怎么做?

a) Read a local file into Panda dataframe say PD_DF b) Manipulate/Massge the PD_DF and add columns to dataframe c) Need to write PD_DF to HDFS using spark. How do I do it ?

推荐答案

您可以使用 SQLContext 对象来调用 createDataFrame 方法，该方法接受输入 data 可以选择是 Pandas DataFrame 对象.

You can use the SQLContext object to invoke the createDataFrame method, which takes an input data which can optionally be a Pandas DataFrame object.

这篇关于我可以将 Pandas 数据帧转换为 spark rdd 吗?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！