如何将Spark结构化流数据写入Hive？ [英] How to write Spark Structured Streaming Data into Hive?

问题描述

如何将Spark结构化流数据写入Hive？

有 df.write（）。saveAsTable（tablename）但是我不确定这是否写入流数据

我通常做 df.writeStream（）。trigger（new ProcessingTime（1000））。foreach（new KafkaSink（））。start（） 将流式数据写入Kafka，但我没有看到类似于将流式数据写入Hive数据仓库的内容。任何想法？

解决方案

  df.createOrReplaceTempView（mytable）
 spark .sql（将table mytable as select * from mytable）; 
  

或

 <$ 。C $ C> df.write（）模式（SaveMode.Overwrite）.saveAsTable（ dbName.tableName）; 
  

How to write Spark Structured Streaming Data into Hive?

There is df.write().saveAsTable(tablename) however I am not sure if this writes streaming data

I normally do df.writeStream().trigger(new ProcessingTime(1000)).foreach(new KafkaSink()).start() to write streaming data into Kafka but I don't see anything similar to write streaming data into Hive data warehouse. any ideas?

解决方案

df.createOrReplaceTempView("mytable") 
spark.sql("create table mytable as select * from mytable");

or

df.write().mode(SaveMode.Overwrite).saveAsTable("dbName.tableName");

这篇关于如何将Spark结构化流数据写入Hive？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！