Spark：如何使用标题保存数据框？ [英] Spark: How to save a dataframe with headers?

问题描述

dataframe.saveasTextFile ，仅以分隔格式保存数据。如何在JAVA中保存带有标题的数据框。

dataframe.saveasTextFile, saves only the data in a delimited format. How do I save the dataframe with headers in JAVA.

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath);

推荐答案

如果你想保存为csv文件，我会建议使用 spark-csv 包。您只需使用标题<％c $ c> spark-csv 保存数据框，如下所示。

If you want to save as csv file, i would suggest using spark-csv package. You can save your dataframe simply with spark-csv as below with header.

dataFrame.write
  .format("com.databricks.spark.csv")
  .option("header", "true")
  .option("delimiter",<your delimiter>)
  .save(output)

您可以参考以下链接，了解更多信息：
https://github.com/databricks/spark-csv

You can refer below link, for further information: https://github.com/databricks/spark-csv

Spark-csv 有maven依赖。

这篇关于Spark：如何使用标题保存数据框？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！