如何将 JavaPairDStream 的结果写入 Spark Streaming 上的输出 kafka 主题? [英] How can I write results of JavaPairDStream into output kafka topic on Spark Streaming?

问题描述

我正在寻找一种在输出 kafka 主题中编写 Dstream 的方法，仅当微批处理 RDD 吐出一些东西时.

I'm looking for a way to write a Dstream in an output kafka topic, only when the micro-batch RDDs spit out something.

我在 Java8(均为最新版本)中使用 Spark Streaming 和 spark-streaming-kafka 连接器

I'm using Spark Streaming and spark-streaming-kafka connector in Java8 (both latest versions)

我想不通.

感谢您的帮助.

推荐答案

如果 dStream 包含要发送到 Kafka 的数据:

if dStream contains data that you want to send to Kafka:

dStream.foreachRDD(rdd -> {
    rdd.foreachPartition(iter ->{
        Producer producer = createKafkaProducer();  
        while (iter.hasNext()){
               sendToKafka(producer, iter.next())
        }
    }

});

因此，您为每个 RDD 分区创建一个生产者.

So, you create one producer per each RDD partition.

这篇关于如何将 JavaPairDStream 的结果写入 Spark Streaming 上的输出 kafka 主题?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！