debezium相关内容
我正在尝试使用 debezium mongodb 连接器设置从 mongodb 到 kudu 的同步.但正如 debezium doc 所说,而且我自己尝试过并发现,debezium mongodb CDC 更新/$set 消息没有过滤器(_id 值). {“之后":空,"补丁": "{\"$v\" : 1,\"$set\" : {\"_upts_ratio_average_points\" :
..
使用 Debezium 0.7 从 MySQL 读取数据,但在初始快照阶段出现刷新超时和 OutOfMemoryError 错误.查看下面的日志,似乎连接器试图一次性写入太多消息: WorkerSourceTask{id=accounts-connector-0} 为偏移提交刷新 143706 条未完成的消息 [org.apache.kafka.connect.runtime.WorkerSou
..
JDBC 连接器和Debezium SQL Server CDC 连接器(或任何其他关系数据库连接器)以及我何时应该选择一个另一方面,正在寻找在两个关系数据库之间同步的解决方案? 不确定这个讨论是否应该是关于 CDC 与 JDBC 连接器,而不是 Debezium SQL Server CDC 连接器,甚至只是 Debezium,期待以后的编辑,取决于给定的答案(虽然我的情况是关于 SQL
..
问题: 如何使用 Kafka Connect 正确注册 SqlServer 连接器以连接到独立的 SQL Server 实例?注意:我没有在 Docker 中运行 SQL Server. 错误: 错误:由:com.microsoft.sqlserver.jdbc.SQLServerException引起:TCP/IP 连接到主机 127.0.0.1,端口 1433 失败.错误:“
..
我已阅读http://debezium.io/docs/connectors/mysql/ 但我找不到有关是否可以配置 debezium 以便将 2 个(或更多)表中的更改写入相同的单个 kafka 主题的任何信息?在我看来,它总是 1 个表 -> 1 个主题. 解决方案 是的,使用 单条消息根据您确定的链接进行转换.您可以使用正则表达式 (regex) 将表映射到所需的主题.io.deb
..
这个问题与:Debezium 如何使用 Kafka Connect 正确注册 SqlServer 连接器 - 连接被拒绝 在 Windows 10 中,我在 Docker 容器外部的 Microsoft SQL Server 实例上运行 Debezium.我每 390 毫秒收到以下警告: 数据库中没有记录最大LSN;请确保 SQL服务器代理正在运行 [io.debezium.conn
..
我是 Docker、Debezium、Bash 和 Kafka 的新手.我正在尝试在此处为 Windows 10 上的 MSSQL Server 运行 Debezium 教程/示例: https://github.com/debezium/debezium-examples/blob/master/tutorial/README.md#using-sql-server 我可以按照第一步
..
我正在为 debezium 使用 AWS 架构注册表. 在 debezium 中,我提到服务器名称为 mysql-db01.因此,debezium 将使用此服务器名称创建一个主题,以添加一些有关服务器和架构更改的元数据. 当我部署连接器时,在架构注册表中我得到了这样的架构. {“类型":“记录",“名称":“SchemaChangeKey",“命名空间":“io.debezium.c
..
我们目前正在尝试使用 Debezium 来捕获 Postgres 数据库中 4 个表的更改.我们目前知道,对于这个用例,我们可以使用 kafka-streams 应用程序来加入/聚合 KTable 的表,但是我们希望保持 kafka-stream 拓扑简单,因此我们的想法是使用来自 Postgres 的物化视图和捕捉它的变化. 是否可以这样做,如果可以,我们应该如何配置它? Kafka
..
我在 AWS RDS 上有一个 Postgres Db 和一个在桌子上监听的 kafka 连接连接器 (Debezium Postgres).连接器的配置: {"name": "我的连接器",“配置":{"connector.class": "io.debezium.connector.postgresql.PostgresConnector","database.dbname": "my_db
..
我们目前正在尝试使用 Debezium 来捕获 Postgres 数据库中 4 个表的更改.我们目前知道,对于这个用例,我们可以使用 kafka-streams 应用程序来加入/聚合 KTable 的表,但是我们希望保持 kafka-stream 拓扑简单,因此我们的想法是使用来自 Postgres 的物化视图和捕捉它的变化. 是否可以这样做,如果可以,我们应该如何配置它? Kafka
..
我正在尝试将我的 SQL Server 数据库连接到 Windows 上的 kafka,我下载了 Debezium jar 文件,它们位于名为 debezium-connector-sqlserver 的文件夹中,如下所示:Kafka 文件夹,Debezium 文件夹 我还在connect-standalone.properties中添加了这一行plugin.path=C:\\current
..
我正在尝试将我的 SQL Server 数据库连接到 Windows 上的 kafka,我下载了 Debezium jar 文件,它们位于名为 debezium-connector-sqlserver 的文件夹中,如下所示:Kafka 文件夹,Debezium 文件夹 我还在connect-standalone.properties中添加了这一行plugin.path=C:\\current
..
我们正在创建从 RDS 中的 Mysql 到用于创建搜索索引的弹性搜索的数据管道,为此,使用 debezium cdc 及其 mysql 源和弹性接收器连接器. 现在,由于 mysql 在 rds 中,我们必须授予 mysql 用户对两个我们想要 cdc 表的 LOCK TABLE 权限,如文档中所述. 我们还有其他各种 mysql 用户执行可能需要两个表中任何一个的事务. 一旦
..
我有一个关于这个拱门的 jdbc-sink 的问题. postgres1 ---> kafka ---> postgres2 生产者工作正常,但消费者有错误: connect_1 |org.apache.kafka.connect.errors.RetriableException:java.sql.SQLException: java.sql.BatchUpdateExcept
..
我正在研究 debezium mongodb 源连接器.我可以通过将 kafka 引导服务器地址作为远程机器(部署在 Kubernetes 中)和远程 MongoDB url 来以分布式模式在本地机器上运行连接器吗? 我试过了,我看到连接器成功启动,没有错误,只有很少的警告,但没有数据从 mongodb 流出. 使用以下命令运行连接器 ./bin/connect-distribute
..
我正在尝试将 debezium 与 rds/aurora/一起使用,我正在考虑使用哪个连接器来使用 MySQL 连接器,或者还有另一个用于 Aurora 的连接器?另外,如何将 debezium 连接器(本地主机)连接到远程 aws aurora db?另外,是否有人使用 debezium 和 aurora 分享一些信息. 另外,我如何配置 debezium 以将我们正在监控的不同表写入不同
..
我使用 debezium cdc connect pg,我构建了 docker 使用的 pg 11,pg 运行良好.当我在kafka连接器中使用debezium时,它报告: 无法获取数据库测试的编码 卷曲是: curl -H "Accept: application/json";-H "Content-type: application/json";-X POST http://lo
..
我正在尝试使用 Debezium 连接到本地计算机上的 mysql 数据库. 尝试使用以下命令调用 kafka:sudo kafka/bin/connect-standalone.shsh kafka/config/connect-standalone.properties kafka/config/connector.properties 这是connector.properties
..
我使用 debezium cdc connect pg,我构建了 docker 使用的 pg 11,pg 运行良好.当我在kafka连接器中使用debezium时,它报告: 无法获取数据库测试的编码 卷曲是: curl -H "Accept: application/json";-H "Content-type: application/json";-X POST http://lo
..