kafka-partition相关内容

当我们在运行时增加分区时,Kafka如何保证消息顺序?

我是 kafka 的新手,当我阅读 Kafka 文档时,我意识到使用相同键提供的消息将映射到相同的分区以保证顺序.这完全有道理.但是,我想知道如果我们在运行时增加主题分区的数量,具有相同键的新消息是否会像以前一样散列到同一个分区(旧的)? 如果是这样,如果所有消息都提供了密钥,那么它们都不会映射到新分区怎么办?这对我来说没有意义. 如果不是,那么Kafka如何保证相同key的消息的顺序 ..
发布时间:2021-11-12 02:46:36 其他开发

是否可以使用密钥和分区来使用 kafka 消息?

我正在使用 kafka_2.12 版本 2.3.0,其中我使用分区和密钥将数据发布到 kafka 主题中.我需要找到一种方法,使用该方法可以使用键和分区组合来使用来自主题的特定消息.这样我就不必消耗所有消息并迭代正确的消息. 现在我只能这样做 KafkaConsumer消费者 = 新的 KafkaConsumer(props)消费者.订阅(Collections.singletonList ..
发布时间:2021-11-12 02:39:45 Java开发

是否可以使用密钥和分区来使用kafka消息?

我正在使用 kafka_2.12 版本 2.3.0 ,其中我使用分区和密钥将数据发布到kafka主题中.我需要找到一种方法,可以使用键和分区组合使用主题中的特定消息.这样,我就不必消耗所有消息并为正确的消息进行迭代. 现在我只能这样做 KafkaConsumer消费者=新的KafkaConsumer(道具)Consumer. ..
发布时间:2021-04-08 19:02:04 Java开发

当我们在运行时增加分区时,Kafka如何保证消息顺序?

我是kafka的新手,当我阅读Kafka文档时,我意识到带有相同密钥的消息将被映射到同一分区以保证顺序.这完全有道理.但是,我想知道是否在运行时增加了主题分区的数量,具有相同键的新消息是否会像以前一样被哈希到相同的分区(旧的)? 如果是这样,如果所有消息都提供了密钥怎么办,那么它们中的任何一个都不会映射到新分区?这对我来说没有意义. 如果不是,那么Kafka如何保证按顺序发送具有相同密 ..
发布时间:2021-04-08 18:59:01 其他开发