apache-kafka-connect相关内容

kafka 点燃水槽连接器

我正在尝试将数据从 Kafka 主题复制到 apache ignite 集群.我已经在插件中添加了 ignite-core.jar 以及所有其他必需的文件，并根据日志将其加载到连接器中.我仍然面临这个错误.任何的意见都将会有帮助.谢谢. INFO 实例化连接器 string-ignite-connector 与版本 6.1.1-ccs 类型类 org.apache.ignite.stream. ..
发布时间：2021-11-12 03:29:18 其他开发

Kafka JDBC 源连接器时间戳模式对 sqlite3 失败

我试图在 sqlite 中建立一个包含两个表的数据库.我的一个表有一个时间戳列.我正在尝试实施时间戳模式来捕获数据库中的增量更改.Kafka 连接失败并出现以下错误: 错误无法使用 Sqlite 从数据库获取当前时间并查询“SELECT"CURRENT_TIMESTAMP'(io.confluent.connect.jdbc.dialect.SqliteDatabaseDialect:471) ..
发布时间：2021-11-12 03:29:15 数据库

mqtt 代理和 kafka 独立连接

我想将数据从 mqtt 代理(mosquitto)摄取到 kafka 代理(apache kafka)，所以我执行这些步骤 1/我从 evokly github 创建了我的 mqtt 连接器:所以我下载了代码并使用 gradlew 来构建项目并生成 .jar 依赖项(kafka-connect-mqtt-1.1-SNAPSHOT.jar)2/我将 .jar 文件放入 C:\kafka_2.1 ..
发布时间：2021-11-12 03:29:12 其他开发

Kafka 转换忽略正则表达式

我正在尝试使用 kafka transforms.RemoveString 在将我的主题传递到我的连接器之前修改它的名称.我的主题名称是这样的 foo.bar_1.baz 我想提取 bar_1 并将其作为主题名称传递.据我所知，我的 regex 是正确的，但 kafka 转换似乎不喜欢它 - transforms=ReplaceField,RenameField,RemoveStringtr ..
发布时间：2021-11-12 03:29:09 其他开发

Kafka连接消费者引用偏移量并存储在消息中

如果我使用 kafka-connect 来消费消息并存储到 s3(使用 kafka-connect s3 连接器)，那么我是否可以将消息偏移量与事件有效负载一起存储?我想要这些数据来对消息进行排序，并检查是否有任何差距或检查我收到的消息中是否有任何重复.(例如，如果我的消费者偏移被意外破坏并且我重新启动了 kafka-connect).这是可能的还是我应该为此类功能编写自定义订阅者? 解决方 ..
发布时间：2021-11-12 03:29:06 其他开发

用于 RDS Aurora 的 Debezium 连接器

我正在尝试将 debezium 与 rds/aurora/一起使用，我正在考虑使用哪个连接器来使用 MySQL 连接器，或者还有另一个用于 Aurora 的连接器?另外，如何将 debezium 连接器(本地主机)连接到远程 aws aurora db?另外，是否有人使用 debezium 和 aurora 分享一些信息. 另外，我如何配置 debezium 以将我们正在监控的不同表写入不同 ..
发布时间：2021-11-12 03:29:03 其他开发

Kafka 连接教程停止工作

我在此链接中遵循第 7 步(使用 Kafka Connect 导入/导出数据): http://kafka.apache.org/documentation.html#quickstart 它运行良好，直到我删除了“test.txt"文件.主要是因为这就是 log4j 文件的工作方式.一段时间后，文件将被旋转 - 我的意思是 - 它将被重命名 &将开始写入具有相同名称的新文件. ..
发布时间：2021-11-12 03:28:57 其他开发

将 kafka-connect-transform-archive 与 HdfsSinkConnector 一起使用时的刷新大小

我想将 Kafka 主题中的数据保留在我的数据湖中. 在担心密钥之前，我能够使用 HdfsSinkConnector 将 Avro 值保存在数据湖上的文件中.每个文件中消息值的数量由 HdfsSinkConnector 的“flush.size"属性决定. 一切都很好.接下来，我也想保留密钥.为此，我使用了 kafka-connect-transform-archive，它将 Stri ..
发布时间：2021-11-12 03:28:55 其他开发

在 Debezium Mysql Connector 中将更多表列入白名单的有效方法

是否有任何最佳实践可用于将新表列入 debezium mysql 连接器的白名单? 我们正在为 CDC 流使用 debezium mysql 连接器，并且出现了一个用例，将更多表列入连接器配置的白名单.这是正在使用的 debezium 的版本详细信息和 {"class": "io.debezium.connector.mysql.MySqlConnector","version": "0. ..
发布时间：2021-11-12 03:28:52 数据库

MongoDB Kafka Sink 连接器不处理 RenameByRegex 处理器

我需要监听来自 Kafka Topic 和 Sink 的事件到 MongoDB 中的集合.消息包含一个带有 id 属性的嵌套对象，就像上面的例子一样. {“测试ID":1，"foo": "酒吧","foos": [{ "id":"aaaaqqqq-rrrrr" }]} 我正在尝试使用 RegExp 将此嵌套 id 重命名为 _id {"connector.class":"com.mongod ..
发布时间：2021-11-12 03:28:49 其他开发

错误由于错误而停止 (org.apache.kafka.connect.cli.ConnectStandalone) java.lang.NoClassDefFoundError: io/debezium/util/IoUtil

我正在尝试将我的 SQL Server 数据库连接到 Windows 上的 kafka，我下载了 Debezium jar 文件，它们位于名为 debezium-connector-sqlserver 的文件夹中，如下所示:Kafka 文件夹，Debezium 文件夹 我还在connect-standalone.properties中添加了这一行plugin.path=C:\\current ..
发布时间：2021-11-12 03:28:34 其他开发

Kafka Source 和 Sink 连接器不适用于大数据

我正在使用 Kafka 源和接收器连接器创建数据管道.源连接器从 SQL 数据库中消费并发布到主题和接收器连接器订阅主题并放入其他 SQL 数据库.表有 16 GB 的数据.现在的问题是，数据没有从一个数据库传输到另一个数据库.但是，如果表大小很小，如 1000 行，则数据正在成功传输. 源连接器配置: “配置":{“connector.class":"io.confluent.conne ..
发布时间：2021-11-12 03:28:29 其他开发

Kafka-MongoDB Debezium 连接器:分布式模式

我正在研究 debezium mongodb 源连接器.我可以通过将 kafka 引导服务器地址作为远程机器(部署在 Kubernetes 中)和远程 MongoDB url 来以分布式模式在本地机器上运行连接器吗? 我试过了，我看到连接器成功启动，没有错误，只有很少的警告，但没有数据从 mongodb 流出. 使用以下命令运行连接器 ./bin/connect-distribute ..
发布时间：2021-11-12 03:28:26 其他开发

JDBC Kafka Connector 能否从多个数据库中拉取数据?

我想设置一个 JDBC Kafka 连接器集群，并将它们配置为从运行在同一主机上的多个数据库中提取数据. 我一直在查看 Kafka Connect 文档，在您配置 JDBC 连接器后，它似乎只能从单个数据库中提取数据. 谁能确认一下? 解决方案 取决于您启动 worker 的模式(独立或分布式): 在standalone模式，你可以使用以下命令启动多个jdbc连接器: ..
发布时间：2021-11-12 03:28:23 其他开发