apache-kafka-mirrormaker相关内容

Mirror Maker2无法连接到目标群集代理

我在AWS MSK上有两个Kafka集群(在相同的环境和区域)。我在目标集群上设置了KafkaConnect集群,并设置了Mirror Maker连接器以运行。连接器提交正常,没有错误。 当我尝试检查连接器的状态时,它显示正在运行: {"name":"mirror-maker-test-connector","connector":{"state":"RUNNING","worker_id":" ..

Kafka 发送到 azure 事件中心

我已经在我的机器上设置了一个 kafka 并且我正在尝试设置 Mirror Maker 以从本地主题消费并将其镜像到一个 azure 事件中心,但到目前为止我一直无法做到,并且我收到以下错误: ERROR 向主题 dev-eh-kafka-test 发送消息时出错,key: null, value: 5 bytes with error: (org.apache.kafka.clients.pr ..

Kafka MirrorMaker2 自动消费者偏移同步

我正在使用 MirrorMaker2 进行 DR. Kafka 2.7 应该支持自动消费者偏移同步 这是我正在使用的 yaml 文件(我使用 strimzi 创建它) 所有源集群主题都复制到目标集群中.另外 ...checkpoint.internal 主题是在目标集群中创建的,其中包含同步的所有源集群偏移量,但我没有看到这些偏移量被转换为目标集群 _consumer_offse ..
发布时间:2021-11-12 02:48:54 其他开发

Kafka 镜像集群中如何维护客户偏移量?

假设我有两个 Kafka 集群,我正在使用 mirror maker 将主题从一个集群镜像到另一个集群.我知道消费者有一个嵌入式生产者来向 Kafka 集群中的 __consumer-offset 主题提交偏移量.我需要知道如果主 Kafka 集群出现故障会发生什么?我们是否也同步 __consumer-offset 主题?因为辅助集群可能有不同数量的代理和其他设置,我认为. 请问Kafka ..

是否可以使用 MirrorMaker2 复制没有别名前缀的 kafka 主题

我正在尝试在 2 个集群之间设置复制,但不想更改主题名称.例如,如果我有一个名为“some_topic"的主题,它会自动复制到“cluster1.some_topic",我很确定这可以完成,但还没有找到正确的配置来改变它 我当前的配置“mirrormaker2.properties" # MirrorMaker 2.0 顶级配置文件示例# 使用 ./bin/connect-mirror-m ..
发布时间:2021-11-12 02:13:18 其他开发

从Confluent Replicator迁移到Apache Mirror Maker 2.0时保持相同的偏移量

我们当前正在尝试将Confluent复制器迁移到Apache Open Source Mirror Maker v2.0.我们面临的一个问题是,当镜像制造商在同一主题上启动时,复制器已经复制的消息将再次被复制.这不会发生,因为消息在目标群集处变得重复.这里是更多详细信息: RCA:复制器分配用于复制消息的使用者组.该使用者组维护源主题的偏移量.但是我们无法将相同的使用者组分配给镜像制造商2中 ..
发布时间:2021-04-08 19:07:41 其他开发

如何在Kafka的镜像集群中维护客户补偿?

假设我有两个Kafka集群,并且正在使用镜像制造商将主题从一个群集镜像到另一个群集.我知道消费者有一个嵌入式生产者,可以向Kafka集群中的 __ consumer-offset 主题提交偏移量.我需要知道如果主要的Kafka群集出现故障会怎样?我们是否也同步 __ consumer-offset 主题?我认为,由于辅助群集可能具有不同数量的代理和其他设置. 请告诉我们Kafka镜像集群如何 ..

如何在kafka中进行完全复制?

如何在kafka中进行完全复制? 我有两个服务器,一个领导者和一个跟随者. 如何确保当领导者拒绝(关闭)时,发送给跟随者的所有消息也会在领导者上显示出来. 我知道启动的一个选项:Kafka有一个内置的 bin/kafka-mirror-maker.sh 同步程序.它应始终在领导者上运行,然后转到它的消息也将传递给跟随者.当领导者关闭时,此程序应在关注者上启动,据我所知,所有消息都 ..
发布时间:2021-04-08 18:46:41 其他开发