Kafka Mirror Maker无法复制__consumer_offset主题 [英] Kafka Mirror Maker failing to replicate __consumer_offset topic

问题描述

我正在尝试使用镜像制作器来复制 __ consumre_offsets 主题以及其他主题。

I am trying to make use of mirror maker to replicate __consumre_offsets topic along with other topics.

它正在给出错误，如下所述。

It is giving error as mentioned below.

[2018-10-24 16：16：03,802]错误向主题$ b发送消息时出错$ b __consumer_offsets，键：16个字节，值：445个字节，错误：（org.apache.kafka.clients.producer.internals.ErrorLoggingCallback）
org.apache.kafka.common.errors.InvalidTopicException：请求
尝试对无效主题执行操作。 [2018-10-24
16：16：03,828]错误将消息发送到主题
__consumer_offsets时发生错误，键为：29个字节，值：754个字节，错误为：（org.apache.kafka.clients。 producer.internals.ErrorLoggingCallback）
org.apache.kafka.common.errors.InvalidTopicException：请求
尝试对无效主题执行操作。

[2018-10-24 16:16:03,802] ERROR Error when sending message to topic __consumer_offsets with key: 16 bytes, value: 445 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.InvalidTopicException: The request attempted to perform an operation on an invalid topic. [2018-10-24 16:16:03,828] ERROR Error when sending message to topic __consumer_offsets with key: 29 bytes, value: 754 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.InvalidTopicException: The request attempted to perform an operation on an invalid topic.

有什么方法可以解决这个问题？

Is there any way to resolve this?

在 SlideShare ，它提到了复制偏移量主题数据中心。有人可以告诉我实现这一目标的可能方法吗？

In one of the confluent presentation in SlideShare on slide21, it mentioned about replicating offset topic in multiple datacenters. Can someone tell me the possible way to achieve the same?

或者还有其他更好的方法来备份和恢复Kafka的策略。

Or there is any other better way for backup and restore policy for Kafka.

推荐答案

将其添加到您的 consumer.config 中：

exclude.internal.topics=false

并将其添加到您的 producer.config ：

client.id=__admin_client

存在的原因是，除非您声明<$ c，否则制作人无法写内部主题$ c> client.id = __ admin_client ，由AdminClient.scala使用。在这里找到： https://issues.apache.org/jira/browse/KAFKA-6524

Reason being, Producers cannot write to internal topics unless you declare client.id=__admin_client which is used by AdminClient.scala. Found here: https://issues.apache.org/jira/browse/KAFKA-6524

这篇关于Kafka Mirror Maker无法复制__consumer_offset主题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！