如何在ipython中将Spark RDD转换为pandas数据帧? [英] How to convert Spark RDD to pandas dataframe in ipython?

查看:585
本文介绍了如何在ipython中将Spark RDD转换为pandas数据帧?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我有 RDD ,我想将其转换为 pandas dataframe 。我知道要将 RDD 转换为正常数据框我们可以做

I have a RDD and I want to convert it to pandas dataframe. I know that to convert and RDD to a normal dataframe we can do

df = rdd1.toDF()

但我想将 RDD 转换为 pandas dataframe 和不是正常的数据框。我该怎么办?

But I want to convert the RDD to pandas dataframe and not a normal dataframe. How can I do it?

推荐答案

你可以使用函数 toPandas()

You can use function toPandas():


将此DataFrame的内容作为Pandas pandas.DataFrame返回。

Returns the contents of this DataFrame as Pandas pandas.DataFrame.

仅当Pandas已安装且可用时才可用。

This is only available if Pandas is installed and available.



>>> df.toPandas()  
   age   name
0    2  Alice
1    5    Bob

这篇关于如何在ipython中将Spark RDD转换为pandas数据帧?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆