无聚合滑动窗口操作在卡夫卡中的应用 [英] Apply sliding window operation without aggregation in Kafka

问题描述

我们可以在不聚合的情况下应用Kafka窗口操作吗？我需要过去10分钟内的所有数据(而不是计数)？我所看到的是，大多数示例使用了窗口滑动的聚合。

推荐答案

您可以使用KafkaConsumer#offsetsForTimes方法获取分区到偏移量映射中10分钟前的偏移量。

使用该信息，循环遍历映射并seek您的使用者到这些分区偏移量。

然后开始轮询，直到记录时间戳超出您请求的时间窗口。

否则，您可以尝试使用Kafka Streams Reduce函数将您的数据聚合到一个集合中进行整体处理，而不是仅以其他方式进行累积(这可能需要自定义serde)

这篇关于无聚合滑动窗口操作在卡夫卡中的应用的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！