将Spark DataFrame转换为Pandas DF [英] Convert a spark DataFrame to pandas DF
本文介绍了将Spark DataFrame转换为Pandas DF的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
是否可以将Spark Df(不是RDD)转换为熊猫DF
Is there a way to convert a Spark Df (not RDD) to pandas DF
我尝试了以下操作:
var some_df = Seq(
("A", "no"),
("B", "yes"),
("B", "yes"),
("B", "no")
).toDF(
"user_id", "phone_number")
代码:
%pyspark
pandas_df = some_df.toPandas()
错误:
NameError: name 'some_df' is not defined
任何建议.
推荐答案
以下步骤应该有效
some_df = sc.parallelize([
("A", "no"),
("B", "yes"),
("B", "yes"),
("B", "no")]
).toDF(["user_id", "phone_number"])
pandas_df = some_df.toPandas()
这篇关于将Spark DataFrame转换为Pandas DF的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文