Kafka连接器和架构注册表-检索Avro架构时出错-找不到主题
我有一个主题，最终将有许多不同的架构。现在，它只有一个。 我已经通过REST这样创建了一个连接作业： { “ name”：“ com.mycompany.sinks.GcsSinkConnector-auth2“， ” config“：{ ” connector.class“：” com.mycompany.sinks.GcsSinkConnector“， ” topics“：” aut
..
apache-kafka-connect相关内容
如何基于连接器名称获取Kafka源连接器架构
我正在使用Confluent JDBC Kafka连接器将消息发布到主题中。源连接器将在每次轮询时将数据连同模式发送到主题。我想检索此架构。 有可能吗？怎么样？谁能建议我 我的意图是基于Kafka连接器在轮询中构建的架构来创建KSQL流或表。 解决方案 做到这一点的最佳方法是使用Avro，其中架构独立存储，并由Kafka Connect和KSQL自动使用。 您可以通过将K
..
Kafka JDBC Connect查询导致ORA-00933：SQL命令未正确结束
我有这个Oracle SQL查询： SELECT * FROM （SELECT SO_ORDER_KEY，QUEUE_TYPE，SYS_NO， DENSE_RANK（）超过（按SO_ORDER_KEY排序，按SYS_NO DESC排序）ORDER_RANK 来自TSY940） ORDER_RANK = 1； 在SQL开发人员中运行时，它返回所需的结果。
..
重新启动Kafka Connect S3 Sink任务丢失位置，完全重写所有内容
重新启动Kafka Connect S3接收器任务后，它从主题开始一直重新开始写入，并写入了较旧记录的重复副本。换句话说，Kafka Connect似乎失去了位置。 因此，我想像一下，Kafka Connect将当前的偏移位置信息存储在内部的 connect-中，补偿主题。该主题为空，我认为是问题的一部分。 其他两个内部主题 connect-statuses 和 connect-con
..
Kafka Connect集群设置或启动Connect Worker
我正在通过kafka connect，并且正在尝试了解这些概念。 让我们说我已经安装了kafka集群（节点k1，k2和k3）并正在运行，现在我想在不同的节点上运行kafka connect worker，说c1和 几个问题。 1）在分布式模式下运行或启动kafka connect需要使用命令 ../ bin / connect-distributed.sh ，该命令在kakfa群
..
kafka connect-jdbc接收器sql异常
我正在使用融合社区版进行简单的设置，其中包括调用Kafka rest代理的rest客户端，然后使用提供的jdbc接收器连接器将数据推送到oracle数据库中。 我注意到，如果存在一个sql异常（例如，如果实际数据的长度大于实际数据的长度（已定义列的长度）），则任务停止，并且如果我这样做重新启动它，尝试插入错误的条目并停止它。它不会插入其他条目。 不是一种可以记录错误条目并让任务继续插入
..
Kafka Elasticsearch连接器时间戳
我看到对此进行了几次讨论例如，但我认为由于Elasticsearch中的重大更改，解决方案已过时。 我正在尝试转换长/历元字段在我的Kafka主题中的Json中，输入到通过连接器推送的Elasticsearch日期类型。 当我尝试添加动态映射时，我的Kafka connect更新失败，因为Im试图将两个映射应用于字段_doc和kafkaconnect。我相信这是版本6的重大变化，我相信
..
如何使用Kafka Connect将MS Sql Server表导入KSQL
嗨，我正在尝试将远程SQL Server上存在的所有表导入KSQL主题 ，这是我的文件属性 connector.class = io.confluent.connect.cdc.mssql.MsSqlSourceConnector name = sqlservertest tasks.max = 1 initial.database = $$ DATABASE 连接。 url
..
Kafka Connect找不到连接器
我正在尝试使用Kafka Connect Elasticsearch连接器，但未成功。它因以下错误而崩溃： [2018-11-21 14：48：29,096]错误连接器错误后停止（ org.apache.kafka.connect.cli.ConnectStandalone：108） java.util.concurrent.ExecutionException：org.apache.k
..
将数据从Kafka主题以JSON推送到PostgreSQL
更新后出错 [2019-07-29 12：52：23,301] INFO使用SQL方言初始化书写器：PostgreSqlDatabaseDialect （io.confluent.connect.jdbc.sink.JdbcSinkTask：57） [2019-07-29 12：52：23,303] INFO WorkerSinkTask {id = sink-postgres-0} S
..
为什么Kafka jdbc将插入数据作为BLOB而不是varchar连接
我正在使用Java生产者在Kafka主题中插入数据.然后，我使用Kafka jdbc connect将数据插入到Oracle表中.下面是我的生产者代码. package producer.serialized.avro; import org.apache.avro.Schema; import org.apache.avro.generic.GenericData; import org
..
如何使用kafka connect将kafka主题下沉到oracle?
我有一个关于数据的kafka主题，以下是我用来将数据下沉到oracle的配置文件. Sink.properties name=ora_sink_task connector.class=io.confluent.connect.jdbc.JdbcSinkConnector tasks.max=1 topics=person connection.url=jdbc:oracle:thin
..
Debezium刷新超时和MySQL的OutOfMemoryError错误
使用Debezium 0.7从MySQL读取数据，但在初始快照阶段出现刷新超时和OutOfMemoryError错误.查看下面的日志，似乎连接器试图一次写太多消息: WorkerSourceTask{id=accounts-connector-0} flushing 143706 outstanding messages for offset commit [org.apache.kaf
..
Kafka连接设置以使用AWS MSK从Aurora发送记录
我必须将记录从Aurora/Mysql发送到MSK，再从那里发送到Elastic搜索服务 Aurora-> Kafka-connect ---> AWS MSK ---> kafka connect --->弹性搜索 Aurora表结构中的记录是这样的 我认为记录将以这种格式发送到AWS MSK. "o36347-5d17-136a-9749-Oe46464",0,"NEW_C
..
在Debezium中是否可以配置table_name => kafka主题映射?
我已阅读 http://debezium.io/docs/connectors/mysql/，但我找不到有关是否可以配置debezium的任何信息，以便可以将2个(或更多)表中的更改写入相同的单个kafka主题?在我看来，它始终是1个表-> 1个主题. 解决方案 是的，请使用单个消息根据您确定的链接进行转换.您可以使用正则表达式(regex)将表映射到所需的主题. io.debezium.
..
kafka连接器debezium mongodb CDC更新/$ set消息，不带过滤器(_id值)
我正在尝试使用debezium mongodb连接器设置从mongodb到kudu的同步.但是正如debezium doc告诉我的，而且我自己尝试过后发现，debezium mongodb CDC更新/$ set消息没有过滤器(_id值). { "after": null, "patch": "{\"$v\" : 1,\"$set\" : {\"_upts_ratio_ave
..
Kafka接收器连接器:即使重新启动也未分配任务
我在一组Docker容器中使用Confluent 3.2，其中一个正在运行kafka-connect worker. 出于我尚不清楚的原因，我的四个连接器中有两个-具体来说是hpgraphsl的 MongoDB接收器连接器-停止工作.我能够确定一个主要问题:连接器没有分配任何任务，可以通过调用GET /connectors/{my_connector}/status看到.其他两个(相同类型的
..
从maven部署到nexus时指定版本
我分叉了 Confluent的Kafka Connect HDFS编写器，现在我想要将该版本的jar部署到我的本地Nexus. mvn clean deploy就像护身符一样，部署了jar. https://[nexus]/repository/releases/io/confluent/kafka-connect-hdfs/5.0.0/kafka-connect-hdfs-5.0.0
..
Kafka Connect分隔日志记录
当前，我们为融合的kafka connect分布式工作者集群使用了两个自定义connetor插件.很长一段时间困扰我的一件事是，kafka connect将所有已部署的连接器中的所有日志写入一个文件/流.这使得调试绝对是一场噩梦.有没有办法让kafka连接记录不同文件/流中的连接器? 通过connect-log4j.properties，我可以让特定的类记录到其他File/Stream.但这
..
卡夫卡领导人选举何时举行?
卡夫卡高级制作人何时，多久选举一位领导者? 它是在发送每条消息之前执行还是在建立连接时仅执行一次? 解决方案 每个经纪人都拥有有关主题(和分区)及其首领列表的信息，只要新的首领被任命，动物园饲养员就会将其保持最新.当选或者当分区改变的次数. 因此，当生产者对其中一个经纪人进行呼叫时，它将以该信息列表进行响应.生产者收到此信息后，将对其进行缓存并使用它来连接至领导者.因此，下次当它想要
..