如何从星火SQL数据导出为CSV [英] How to export data from Spark SQL to CSV
本文介绍了如何从星火SQL数据导出为CSV的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
此命令HiveQL作品:
This command works with HiveQL:
insert overwrite directory '/data/home.csv' select * from testtable;
但随着星火SQL我得到与 org.apache.spark.sql.hive.HiveQl
堆栈跟踪错误:
java.lang.RuntimeException: Unsupported language features in query:
insert overwrite directory '/data/home.csv' select * from testtable
请指引我写的导出为CSV功能在星火SQL。
Please guide me to write export to CSV feature in Spark SQL.
推荐答案
您可以使用火花CSV 写结果到CSV文件
You can use spark-csv to write the results into a CSV file
在斯卡拉片段将有助于
import org.apache.spark.sql.hive.HiveContext
// sc - existing spark context
val sqlContext = new HiveContext(sc)
val df = sqlContext.sql("SELECT * FROM testtable")
df.write.format("com.databricks.spark.csv").save("/data/home.csv")
这篇关于如何从星火SQL数据导出为CSV的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文