如何制作(Spark1.6)saveAsTextFile 来附加现有文件? [英] How can I make (Spark1.6) saveAsTextFile to append existing file?

问题描述

在 SparkSQL 中，我使用 DF.wirte.mode(SaveMode.Append).json(xxxx)，但是这种方法获取这些文件 like

In SparkSQL,I use DF.wirte.mode(SaveMode.Append).json(xxxx),but this method get these files like

文件名太复杂随机，无法用api获取.所以想用saveAstextfile，因为文件名不复杂，不规则，但不知道如何在同一个目录中追加文件?感谢为您的时间.

the filename is too complex and random,I can't use api to get.So I want to use saveAstextfile ,beacuse filename is not complex and regular, but I don't know how to append file in same diretory?Appreciate for your time.

推荐答案

在 Spark 1.5 上工作，我认为这是正确的用法..

worked on Spark 1.5 , I think this is right usage..

dataframe.write().mode(SaveMode.Append).format(FILE_FORMAT).**partitionBy**("parameter1", "parameter2").save(path);

这篇关于如何制作(Spark1.6)saveAsTextFile 来附加现有文件?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！