debezium相关内容

Kafka Connect JDBC 与 Debezium CDC

JDBC 连接器和Debezium SQL Server CDC 连接器(或任何其他关系数据库连接器)以及我何时应该选择一个另一方面,正在寻找在两个关系数据库之间同步的解决方案? 不确定这个讨论是否应该是关于 CDC 与 JDBC 连接器,而不是 Debezium SQL Server CDC 连接器,甚至只是 Debezium,期待以后的编辑,取决于给定的答案(虽然我的情况是关于 SQL ..
发布时间:2021-11-12 03:25:21 其他开发

是否可以在 Debezium 中配置 table_name =>卡夫卡主题映射?

我已阅读http://debezium.io/docs/connectors/mysql/ 但我找不到有关是否可以配置 debezium 以便将 2 个(或更多)表中的更改写入相同的单个 kafka 主题的任何信息?在我看来,它总是 1 个表 -> 1 个主题. 解决方案 是的,使用 单条消息根据您确定的链接进行转换.您可以使用正则表达式 (regex) 将表映射到所需的主题.io.deb ..
发布时间:2021-11-12 03:24:30 数据库

Debezium:数据库中没有记录最大LSN;请确保 SQL Server 代理正在运行

这个问题与:Debezium 如何使用 Kafka Connect 正确注册 SqlServer 连接器 - 连接被拒绝 在 Windows 10 中,我在 Docker 容器外部的 Microsoft SQL Server 实例上运行 Debezium.我每 390 毫秒收到以下警告: 数据库中没有记录最大LSN;请确保 SQL服务器代理正在运行 [io.debezium.conn ..
发布时间:2021-11-12 03:24:01 数据库

debezium - 架构注册表问题

我正在为 debezium 使用 AWS 架构注册表. 在 debezium 中,我提到服务器名称为 mysql-db01.因此,debezium 将使用此服务器名称创建一个主题,以添加一些有关服务器和架构更改的元数据. 当我部署连接器时,在架构注册表中我得到了这样的架构. {“类型":“记录",“名称":“SchemaChangeKey",“命名空间":“io.debezium.c ..
发布时间:2021-11-12 03:11:22 其他开发

Debezium 能否捕获 Postges 物化视图的变化

我们目前正在尝试使用 Debezium 来捕获 Postgres 数据库中 4 个表的更改.我们目前知道,对于这个用例,我们可以使用 kafka-streams 应用程序来加入/聚合 KTable 的表,但是我们希望保持 kafka-stream 拓扑简单,因此我们的想法是使用来自 Postgres 的物化视图和捕捉它的变化. 是否可以这样做,如果可以,我们应该如何配置它? Kafka ..

Debezium 能否捕获 Postges 物化视图的变化

我们目前正在尝试使用 Debezium 来捕获 Postgres 数据库中 4 个表的更改.我们目前知道,对于这个用例,我们可以使用 kafka-streams 应用程序来加入/聚合 KTable 的表,但是我们希望保持 kafka-stream 拓扑简单,因此我们的想法是使用来自 Postgres 的物化视图和捕捉它的变化. 是否可以这样做,如果可以,我们应该如何配置它? Kafka ..

错误由于错误而停止 (org.apache.kafka.connect.cli.ConnectStandalone) java.lang.NoClassDefFoundError: io/debezium/util/IoUtil

我正在尝试将我的 SQL Server 数据库连接到 Windows 上的 kafka,我下载了 Debezium jar 文件,它们位于名为 debezium-connector-sqlserver 的文件夹中,如下所示:Kafka 文件夹,Debezium 文件夹 我还在connect-standalone.properties中添加了这一行plugin.path=C:\\current ..
发布时间:2021-11-12 02:56:08 其他开发

错误由于错误而停止 (org.apache.kafka.connect.cli.ConnectStandalone) java.lang.NoClassDefFoundError: io/debezium/util/IoUtil

我正在尝试将我的 SQL Server 数据库连接到 Windows 上的 kafka,我下载了 Debezium jar 文件,它们位于名为 debezium-connector-sqlserver 的文件夹中,如下所示:Kafka 文件夹,Debezium 文件夹 我还在connect-standalone.properties中添加了这一行plugin.path=C:\\current ..
发布时间:2021-11-12 02:54:58 其他开发

用于生产中 rds 的 Mysql debezium 连接器导致死锁

我们正在创建从 RDS 中的 Mysql 到用于创建搜索索引的弹性搜索的数据管道,为此,使用 debezium cdc 及其 mysql 源和弹性接收器连接器. 现在,由于 mysql 在 rds 中,我们必须授予 mysql 用户对两个我们想要 cdc 表的 LOCK TABLE 权限,如文档中所述. 我们还有其他各种 mysql 用户执行可能需要两个表中任何一个的事务. 一旦 ..
发布时间:2021-11-12 02:53:55 数据库

Kafka-MongoDB Debezium 连接器:分布式模式

我正在研究 debezium mongodb 源连接器.我可以通过将 kafka 引导服务器地址作为远程机器(部署在 Kubernetes 中)和远程 MongoDB url 来以分布式模式在本地机器上运行连接器吗? 我试过了,我看到连接器成功启动,没有错误,只有很少的警告,但没有数据从 mongodb 流出. 使用以下命令运行连接器 ./bin/connect-distribute ..

用于 RDS Aurora 的 Debezium 连接器

我正在尝试将 debezium 与 rds/aurora/一起使用,我正在考虑使用哪个连接器来使用 MySQL 连接器,或者还有另一个用于 Aurora 的连接器?另外,如何将 debezium 连接器(本地主机)连接到远程 aws aurora db?另外,是否有人使用 debezium 和 aurora 分享一些信息. 另外,我如何配置 debezium 以将我们正在监控的不同表写入不同 ..