如何导出表数据帧中pyspark到csv？ [英] how to export a table dataframe in pyspark to csv?

问题描述

我使用的火花1.3.1（pyspark），我已经使用SQL查询生成的表。我现在有一个对象，它是一个数据帧。我想导出此数据框对象（我把它称为表），以CSV文件，所以我可以操纵它并绘制列。如何将数据帧表导出为CSV文件？

I am using spark-1.3.1 (pyspark) and I have generated a table using a SQL query. I now have an object that is a DataFrame. I want to export this DataFrame object (I have called it "table") to a csv file so I can manipulate it and plot the columns. How do I export the DataFrame "table" to a csv file?

谢谢！

推荐答案

如果数据帧在驱动程序装入内存，你可以转换的星火数据帧当地的熊猫数据帧使用的 toPandas 方法，然后简单地使用保存：

If data frame fits in a driver memory you can convert Spark DataFrame to local Pandas DataFrame using toPandas method and then simply use save:

df.toPandas().to_csv('mycsv.csv')

否则，您可以使用火花CSV ：

• 星火1.3

• Spark 1.3

df.save('mycsv.csv', 'com.databricks.spark.csv')

星火1.4 +

Spark 1.4+

df.write.format('com.databricks.spark.csv').save('mycsv.csv')

这篇关于如何导出表数据帧中pyspark到csv？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！