如何在pyspark中使用df.write.csv附加到csv文件? [英] How to append to a csv file using df.write.csv in pyspark?

问题描述

我正在尝试使用 df.write.csv 将数据附加到我的csv文件中.这是我遵循spark文档

I'm trying to append data to my csv file using df.write.csv. This is what I did after following spark document http://spark.apache.org/docs/2.0.1/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter:

from pyspark.sql import DataFrameWriter
.....
df1 = sqlContext.createDataFrame(query1)
df1.write.csv("/opt/Output/sqlcsvA.csv", append) #also tried 'mode=append'

执行上面的代码会给我错误:

Executing the above code gives me error:

NameError:未定义名称追加"

NameError: name 'append' not defined

不附加，错误:

该路径已存在.

推荐答案

df.write.save(path='csv', format='csv', mode='append', sep='\t')

这篇关于如何在pyspark中使用df.write.csv附加到csv文件?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！