反弹卡夫卡事件 [英] Debounce kafka events

问题描述

我计划设置MySQL到Kafka的流程，最终目标是计划一个流程，根据更改的数据重新计算MongoDB文档。

这可能涉及直接修补MongoDB文档，或运行将重新创建整个文档的进程。

我的问题是，如果MySQL数据库的一组更改都与一个MongoDB文档相关，那么我不想为每个更改实时重新运行重新计算过程，我想等待更改‘结算’，以便只在需要时运行重新计算过程。

有没有办法"揭穿"卡夫卡之流？例如，对于Kafka消费者，是否有一个定义良好的模式可以用来实现我想要的逻辑？

推荐答案

如果您使用的是Kafka Streams应用程序，您可以尝试使用suppress

它用于WindowedKStream和KTable阻止更新(&Q；)，对于速率限制或窗口结束时的通知非常有用。

关于https://www.confluent.de/blog/kafka-streams-take-on-watermarks-and-triggers/

有一个非常有用的解释

这篇关于反弹卡夫卡事件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！