confluent-schema-registry相关内容

Kafka CONNECT|无法反序列化主题的数据|检索id|Subject的Avro键/值架构版本时出错错误代码:40401

首先感谢@OneCricketeer到目前为止的支持。到目前为止,我已经尝试了这么多配置,我不知道还可以尝试什么。 使用合流connect-standalone worker.properties sink.properties访问外部流。 连接正常,我可以看到已加载偏移量: INFO[MY_MYSQL_SINK|TASK-0][消费者客户端ID=连接器-消费者-MY_MYSQL ..

如何在团队之间共享Avro架构定义

Kafka模式注册中心提供了一种很好的方式来使用公共数据契约序列化和反序列化Kafka中的数据。但是,数据约定(.avsc文件)是生产者和消费者之间的粘合剂。 一旦生产者生成了.avsc文件,就可以将其签入到生产者端的版本控制中。根据语言的不同,它还会自动生成类。 但是, 使用者获取架构定义以供参考的最佳机制是什么?有没有类似swaggerHub或Avro的典型API文档门户? 如 ..

将 Spark Structured Streaming 与 Confluent Schema Registry 集成

我在 Spark Structured Streaming 中使用 Kafka Source 来接收 Confluent 编码的 Avro 记录.我打算使用 Confluent Schema Registry,但是与 Spark 结构化流的集成似乎是不可能的. 我见过这个问题,但无法在 Confluent Schema Registry 中使用.使用 Spark 2.0 从 Kafka 读取 ..

使用 kafka lib 反序列化 PRIMITIVE AVRO KEY

我目前无法在 KSTREAM 应用程序中反序列化 avro PRIMITIVE 密钥 使用 avro 模式(在模式注册表中注册)编码的密钥, 当我使用 kafka-avro-console-consumer 时,我可以看到密钥被正确反序列化 但不可能让它在 KSTREAM 应用程序中工作 键的 avro 模式是一个 PRIMITIVE: {"type":"string"} ..

kafka.common.KafkaException:无法解析来自 EC2 的zookeeper 的代理信息到弹性搜索

我设置了 aws MSK,我正在尝试将记录从 MSK 接收到弹性搜索.我能够将数据以 json 格式推送到 MSK.我想沉迷于弹性搜索.我能够正确地完成所有设置.这就是我在 EC2 实例上所做的 wget/usr/local http://packages.confluent.io/archive/3.1/confluent-oss-3.1.2-2.11.tar.gz -P ~/Download ..

Kafka 连接器和架构注册表 - 检索 Avro 架构时出错 - 未找到主题

我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业,如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus ..

如何根据连接器名称获取 Kafka 源连接器架构

我正在使用 Confluent JDBC Kafka 连接器将消息发布到主题中.源连接器将在每次轮询时将数据与模式一起发送到主题.我想检索这个模式. 有可能吗?如何?谁能推荐我 我的目的是基于 Kafka 连接器在轮询时构建的架构创建 KSQL 流或表. 解决方案 最好的方法是使用 Avro,其中架构单独存储,并由 Kafka Connect 和 KSQL 自动使用. 您 ..

在没有 Confluent Schema Registry 的情况下在 KafkaConnect 中使用 Avro

我们在当前的基础设施中设置了 vanilla apache Kafka,我们开始记录一些我们想要使用 Kafka Connect 处理的数据.目前我们使用 Avro 作为我们的消息格式,但我们的基础设施中没有 Schema Registry.将来,我们计划用 Confluent 替换当前堆栈并使用 Schema Registry 和 Connect,但有一段时间我们只需要为此部署 Connect. ..

Kafka Connect 不适用于主题策略

背景 我编写了几个小的 Kafka Connect 连接器.一个每秒生成随机数据,另一个将其记录在控制台中.它们与 Schema Registry 集成,因此数据是使用 Avro 进行序列化. 我使用 fast-data-dev Docker 镜像将它们部署到本地 Kafka 环境中Landoop 基本设置工作并每秒产生一条记录的消息 但是,我想更改 主题名称策略.默认生成 ..