Debezium连接器任务处于未分配状态
今天，%3中的一个节点不同步，已重新启动。 现在，当我检查连接器任务的状态时，它显示为未分配，即使连接器处于运行状态。 工作进程正在分布式模式下运行。 我尝试重新启动连接器，但它仍未分配，并且指向被带回群集中的同一工作节点。 以下是我的其中一个工作进程的属性文件，该文件在所有工作进程中都是相同的： bootstrap.servers=something:9092 group.id
..
apache-kafka-connect相关内容
如何获取Kafka Debezium MySQL连接器的数据库.server.name？
编辑问题： 尝试配置debezium MySQL Kafka连接器，以 https://debezium.io/documentation/reference/stable/connectors/mysql.html#mysql-example-configuration 我有： 主机名："；ec2-xxx.compute.amazonaws.com"；
..
如何配置Kafka-CONNECT-FILE-PULSE以连续读取文本文件？
我已正确配置了FilePulse，以便当我在阅读文件夹中创建文件时，它会在主题中读取并摄取该文件。 现在我需要连续阅读该文件夹中的每个文件，因为它们正在不断更新。 我必须更改属性文件的任何属性吗？ 我的文件PulseTxtFile.properties： name=connect-file-pulse-txt connector.class=io.streamthought
..
SMT将通过连接器配置创建Kafka连接器字符串分区键
我一直在为PostgreSQL实现一个Kafka连接器(我正在使用debezium Kafka连接器并通过docker运行所有组件)。我需要一个定制分区键，所以我一直使用SMT来实现这一点。但是，我使用的方法创建了一个Struct，并且我需要它是一个字符串。这篇article讲述了如何将分区键设置为int，但我无法访问配置文件来设置适当的转换。目前我的Kafka连接器如下所示 数据-lang=“
..
卡夫卡消费者群体ID与消费者再平衡问题
我在我的生产服务器中使用Kafka0.10.0和ZooKeeper3.4.6。我有20个主题，每个主题大约有50个分区。我总共有100个用户，每个用户都订阅了不同的主题和分区。所有用户都有相同的groupID。那么，如果为特定主题添加或删除消费者，那么附加到不同主题的消费者也将经历重新平衡吗？ 我的消费者代码是： public static void main(String[] arg
..
在创建和debezium源连接器时会创建哪些额外主题
Q1)以下是我在为MySQL源创建Kafka连接器时使用的配置。 { "connector.class": "io.debezium.connector.mysql.MySqlConnector", "snapshot.locking.mode": "minimal", "database.user": "cdc_user", "tasks.max": "3", "dat
..
Mirror Maker2无法连接到目标群集代理
我在AWS MSK上有两个Kafka集群(在相同的环境和区域)。我在目标集群上设置了KafkaConnect集群，并设置了Mirror Maker连接器以运行。连接器提交正常，没有错误。 当我尝试检查连接器的状态时，它显示正在运行： {"name":"mirror-maker-test-connector","connector":{"state":"RUNNING","worker_id":"
..
Postgres表中的某些行可以生成CDC，而其他行则不能
我有一个安装了CDC的Postgres数据库。 我部署了Kafka Debezium连接器1.8.0。Postgres DB的最终版本 发布http://localhost:8083/connectors 正文： { "name": "postgres-kafkaconnector", "config": { "connector.class
..
在Kafka MySQL源连接器中使用什么属性来为任何架构更改注册新版本
这是架构-注册表.属性的配置 listeners=http://10.X.X.76:8081 kafkastore.bootstrap.servers=PLAINTEXT://10.XXX:9092,PLAINTEXT://10.XXX:9092,PLAINTEXT://10.XXXX.1:9092,PLAINTEXT://1XXXX.69:9092 kafkastore.topic=_sc
..
在独立模式下运行Kafka Connect，出现偏移量问题
我正在使用我找到的Github资源库和文件夹路径：https://github.com/entechlog/kafka-examples/tree/master/kafka-connect-standalone以独立模式在本地运行Kafka Connect。我对Docker合成文件做了一些更改，但主要是与身份验证有关的更改。 我现在遇到的问题是，当我运行Docker镜像时，对于每个分区(有1
..
仅在Kafka Connect中看到1个工作人员
$ curl localhost:8083/connectors/file-stream-demo-distributed/status {"name":"file-stream-demo-distributed","connector":{"state":"RUNNING","worker_id":"XX.XX.XX.XXX:8083"},"tasks":[{"id":0,"state":"RU
..
Kafka CONNECT|无法反序列化主题的数据|检索id|Subject的Avro键/值架构版本时出错错误代码：40401
首先感谢@OneCricketeer到目前为止的支持。到目前为止，我已经尝试了这么多配置，我不知道还可以尝试什么。 使用合流connect-standalone worker.properties sink.properties访问外部流。 连接正常，我可以看到已加载偏移量： INFO[MY_MYSQL_SINK|TASK-0][消费者客户端ID=连接器-消费者-MY_MYSQL
..
如何将Kafka的Elasticearch与SSL连接起来？
Hi查看https://docs.confluent.io/current/connect/kafka-connect-elasticsearch/configuration_options.html#security后，我不确定需要哪个配置才能将Kafka连接到位于https的Elasticearch终结点。 我可以将Kafka连接到不同的非HTTPS Elasticearch，并且在常规
..
在Kafka连接日志中屏蔽？
我需要知道卡夫卡是如何掩盖秘密的。机密包括用户名、密码、服务ID和apiKey等。我不想记录此类信息。 推荐答案 对于apache-kafka-connect可以使用秘密外部化。此功能在apache-kafka2.0.0至KIP-297中实现。 简短示例： 将这些属性添加到connect-distributed.properties文件： config.provide
..
将SQL Server数据实时传输到Kafka
我想将实时数据从SQL SERVER直接添加到Kafka，我发现有https://debezium.io/docs/connectors/sqlserver/ 提供的SQL SERVER连接器 在文档中，它说将为每个表创建一个主题。我正在努力了解体系结构，因为我有500个客户端，这意味着我有500个数据库，每个数据库都有500个表。这是否意味着它将创建250000个主题，或者我是否需要为每个客
..
Kafka Connect JDBC接收器报价.SQL.IDENTIFIERS不工作
我正在尝试使用Kafka Connect使用JDBC源和宿连接器将数据从旧的DB2数据库同步到Postgres数据库。它工作得很好，但前提是我必须严格控制用于表名的大小写。 例如，我在DB2中有一个名为action的表，它也存在于postgres中，具有相同的列，等等。唯一的区别是在DB2中它是大写的ACTION，而在postgres中它是小写的action。 以下是一个有效的接收器文
..
Kafka Connect中的连接器和任务之间是什么关系？
我们在一个项目上使用Kafka Connect已经有一段时间了，目前完全只使用Confluent Kafka Connect JDBC connector。我很难理解“任务”在Kafka Connect中的作用，特别是这个连接器。我理解“连接器”；它们包含一系列关于特定源/宿的配置以及它们所连接的源/目标主题。我了解连接器和任务之间存在1:Many关系，以及任务用于并行化工作的一般原则。但是，我们
..
Kafka-Connect接收器任务忽略文件偏移量存储属性
我在使用融合JDBC连接器时遇到了非常奇怪的行为。我非常肯定它与融合堆栈无关，而是与Kafka-Connect框架本身有关。 因此，我将offset.storage.file.filename属性定义为默认/tmp/connect.offsets并运行我的接收器连接器。显然，我希望连接器持久化给定文件中的偏移量(它不存在于文件系统中，但它应该是自动创建的，对吗？)文档显示： offset.
..
Kafka Connect-刷新失败，等待制作人刷新未完成消息时超时
我正尝试在批量模式下使用具有以下属性的Kafka Connect JDBC源连接器。 connector.class=io.confluent.connect.jdbc.JdbcSourceConnector timestamp.column.name=timestamp connection.password=XXXXX validate.non.null=false tasks.max=
..
如何在Kafka MirrorMaker 2.0实例中看到LAG？
我从最初的Kafka MirrorMaker迁移到MirrorMaker 2.0，以便将主题从一个集群复制到另一个集群。我正在运行所述的专用MirrorMaker群集in the docs。 假设我正在复制一个名为test-topic的主题。 Cluster A Cluster B ---------- ---------- test-topic ---> A.t
..