在 spark.SQL DataFrame 和 pandas DataFrame 之间转换 [英] Convert between spark.SQL DataFrame and pandas DataFrame

问题描述

可以吗

转换自到pd.DataFrame

在 %pyspark 环境下?

解决方案

尝试:

spark_df.toPandas()

<块引用>

toPandas()

返回此 DataFrame 的内容作为 Pandas pandas.DataFrame.仅当 Pandas 已安装且可用时才可用.

如果你想要相反的:

spark_df = createDataFrame(pandas_df)

Is that possible to

convert from to pd.DataFrame

under %pyspark environment ?

解决方案

Try:

spark_df.toPandas()

toPandas()

Returns the contents of this DataFrame as Pandas pandas.DataFrame.

This is only available if Pandas is installed and available.

And if you want the oposite:

spark_df = createDataFrame(pandas_df)

这篇关于在 spark.SQL DataFrame 和 pandas DataFrame 之间转换的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！