如何在Kafka MirrorMaker 2.0实例中看到LAG？ [英] How can I see lag in a Kafka MirrorMaker 2.0 instance?

问题描述

我从最初的Kafka MirrorMaker迁移到MirrorMaker 2.0，以便将主题从一个集群复制到另一个集群。我正在运行所述的专用MirrorMaker群集in the docs。

假设我正在复制一个名为test-topic的主题。

Cluster A       Cluster B
----------      ----------
test-topic ---> A.test-topic

如何确定A.test-topic落后于test-topic？

最初的MirrorMaker创建了消费者组，因此我提到了该消费者组的滞后。MirrorMaker 2.0不会创建使用者组，因此我无法使用它来确定延迟。

推荐答案

我也有相同的用例。在MM2中，他们使用Consumer er.assign()而不是Consumer er.Subscribe()来使用源集群

由于Assign不需要任何groupID，因此无法使用使用者组获取LAG。

作为一种解决办法，我执行了以下操作：

1. 计划程序将定期运行，比如每15分钟运行一次。
2. 将获取源聚类主题和目标聚类主题的日志结束偏移量。
3. 我们可以对两者进行比较，并根据滞后时间配置警报。

为了找到日志结束偏移量，我们可以为主题创建一个消费者，并可以使用Consumer er.earkToEnd并获得该位置。此外，您还需要确保在此流程中跳过内部主题。

这篇关于如何在Kafka MirrorMaker 2.0实例中看到LAG？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！