confluent-platform相关内容

Kafka JDBC Sink 连接器为具有可选字段的架构的消息提供空指针异常

Kafka JDBC Sink 连接器为具有此处为“parentId"的可选字段的架构的消息提供空指针异常.我错过了什么吗?我正在使用开箱即用的 JSONConverter 和 JDBC Sink Connector 关于 Kafka 主题的消息是 {“架构":{"类型":"结构",“领域":[{"字段":"id",“类型":“字符串"},{"字段":"类型",“类型":“字符串"},{" ..
发布时间：2021-11-12 03:27:31 其他开发

我们如何重置与 Kafka Connect 源连接器关联的状态?

我们正在使用 Kafka Connect 2.5. 我们正在使用 Confluent JDBC 源连接器(虽然我认为这个问题主要与连接器类型无关)并且正在将 IBM DB2 数据库中的一些数据用于主题，使用“递增模式"(主键)作为每条记录的唯一 ID. 这在正常的事件过程中工作正常；连接器第一次启动时，所有记录都会被消耗并放置在一个主题上，然后，当添加新记录时，它们会被添加到我们的主题 ..
发布时间：2021-11-12 03:27:11 其他开发

如何根据连接器名称获取 Kafka 源连接器架构

我正在使用 Confluent JDBC Kafka 连接器将消息发布到主题中.源连接器将在每次轮询时将数据与模式一起发送到主题.我想检索这个模式. 有可能吗?如何?谁能推荐我 我的目的是基于 Kafka 连接器在轮询时构建的架构创建 KSQL 流或表. 解决方案 最好的方法是使用 Avro，其中架构单独存储，并由 Kafka Connect 和 KSQL 自动使用. 您 ..
发布时间：2021-11-12 03:26:52 其他开发

使用 kafka-connect 从多个主题更新到多个表

我正在尝试使用 JDBC 接收器连接器读取 2 个 kafka 主题并将其更新插入到我手动创建的 2 个 Oracle 表中.每个表都有 1 个主键，我想在 upsert 模式下使用它.如果我仅用于 1 个主题且 pk.fields 中只有 1 个字段，则连接器工作正常，但如果我在 pk.fields 中输入多个列，则每个表中的一个列无法识别架构.我是否遗漏了任何东西，请提出建议. name=o ..
发布时间：2021-11-12 03:26:44 其他开发

在 HDFS 上查找数据的 Kafka Streams

我正在使用 Kafka Streams (v0.10.0.1) 编写一个应用程序，并希望使用查找数据来丰富我正在处理的记录.这些数据(带时间戳的文件)每天(或每天 2-3 次)写入 HDFS 目录. 如何在 Kafka Streams 应用程序中加载它并加入实际的 KStream? 当新文件到达那里时，从 HDFS 重新读取数据的最佳做法是什么? 还是切换到 Kafka Connec ..
发布时间：2021-11-12 03:26:35 其他开发

Kafka 接收器连接器:即使在重启后也未分配任务

我在一组 Docker 容器中使用 Confluent 3.2，其中一个正在运行 kafka-connect worker. 由于我不清楚的原因，我的四个连接器中的两个 - 具体来说，hpgraphsl 的 MongoDB接收器连接器 - 停止工作.我能够确定主要问题:连接器没有分配任何任务，这可以通过调用 GET/connectors/{my_connector}/status 看到.另外 ..
发布时间：2021-11-12 03:25:41 其他开发

重启Kafka Connect S3 Sink任务丢位置，完全改写一切

重新启动一个Kafka Connect S3 sink任务后，它从主题的开头一路重新开始写入，并写入了旧记录的重复副本.换句话说，Kafka Connect 似乎失去了它的位置. 所以，我想象 Kafka Connect 将当前偏移位置信息存储在内部 connect-offsets 主题中.该主题是空的，我认为这是问题的一部分. 另外两个内部主题connect-statuses 和co ..
发布时间：2021-11-12 03:25:35 其他开发

Kafka-Connect:在分布式模式下创建新连接器就是创建新组

我目前正在使用 confluent 3.0.1 平台.我正在尝试在两个不同的工作人员上创建 2 个连接器，但尝试创建一个新连接器正在为其创建一个新组. 使用以下详细信息创建了两个连接器:1) POST http://devmetric.com:8083/connectors{"name": "connector1",“配置":{"connector.class": "com.xxx.kafka. ..
发布时间：2021-11-12 03:25:26 其他开发

Kafka 连接集群设置或启动连接工作器

我正在通过 kafka connect，我正在尝试了解概念. 假设我已经设置了 kafka 集群(节点 k1、k2 和 k3)并且它正在运行，现在我想以分布式模式在不同的节点上运行 kafka connect worker，比如说 c1 和 c2. 几个问题. 1) 要以分布式模式运行或启动 kafka 连接，我需要使用命令 ../bin/connect-distributed. ..
发布时间：2021-11-12 03:25:24 其他开发

Kafka to hdfs3 sink 缺少必需的配置“confluent.topic.bootstrap.servers"没有默认值

状态 我的 HDFS 是通过 ambari、HDP 安装的.我目前正在尝试将 kafka 主题加载到 HDFS 接收器中.Kafka 和 HDFS 安装在同一台机器 x.x.x.x 上.除了一些根据我需要的端口外，我没有对默认设置进行太多更改. 这是我执行 kafka 的方式: /usr/hdp/3.1.4.0-315/kafka/bin/connect-standalone.sh/ ..
发布时间：2021-11-12 03:25:14 其他开发

kafka connect - jdbc sink sql 异常

我正在使用 confluent 社区版进行简单的设置，其中包括一个调用 Kafka 休息代理的休息客户端，然后使用提供的 jdbc 接收器连接器将该数据推送到 oracle 数据库中. 我注意到，如果有一个 sql 异常，例如如果实际数据的长度大于实际数据的长度(定义的列长度)，则任务停止，如果我重新启动它，同样的事情它会尝试插入错误的条目它停止了.它不会插入其他条目. 难道不是我可以 ..
发布时间：2021-11-12 03:24:41 其他开发

Kafka Connect Distributed tasks.max 配置设置的理想值?

我希望生产和部署我的 Kafka Connect 应用程序.但是，我有两个关于 tasks.max 设置的问题，这是必需的且非常重要，但对于实际将此值设置为什么的细节含糊不清. 如果我有一个包含 n 个分区的主题，我希望从中使用数据并将其写入某个接收器(在我的情况下，我正在写入 S3)，我应该将 tasks.max 设置为什么?我应该将它设置为n吗?我应该将其设置为 2n 吗?直觉上，我似乎 ..
发布时间：2021-11-12 03:24:10 其他开发