confluent-schema-registry相关内容

在模式注册中,消费者的模式可能与生产者的不同,这实际上意味着什么

在向 Kafka 生成 AVRO 数据时,Avro 序列化程序在写入数据时使用的字节数组中写入相同的模式 ID. Kafka 消费者根据收到的字节数组中的架构 ID 从架构注册表中获取架构.所以相同的架构 ID 用于生产者和消费者等架构中. 但是为什么很多文章包括这个one说消费者的模式可能与生产者的不同. 请帮助我理解这一点. 解决方案 Kafka 消费者根据架构 ..

使用融合模式注册注册 AVRO 模式

AVRO 模式可以注册到融合模式注册服务中吗? 根据 github 上的自述文件https://github.com/confluentinc/schema-registry 每个示例都使用一个 JSON 模式,其中包含一个没有任何名称的字段和类型. 我正在尝试将以下架构存储到存储库,但不同的变体会出现不同的错误. curl -X POST -H "Content-Type: ..

带有 SSL 配置的 Confluent schema-registry 2.0.1 版本

我需要使用融合模式注册来连接到 0.9 kafka.但是对于 schema-registry 2.0.1 版本,我没有看到可用的 SSL 配置.有没有办法为 schema-registry 和 kafka-rest 启用 ssl 以与 0.9 kafka 通信? 解决方案 该功能仅在 3.0 发行版中添加.如果你想支持 0.9/2.0 版本,你可以尝试 a) 发布 3.0 版本并将 Kaf ..

Confluent 模式注册表与 Spring 云模式注册表

我目前一直在研究 Spring Cloud 模式注册表和融合模式注册表.我可以看到一些差异,例如 spring 云模式注册表将模式保存在普通数据库中,默认情况下保存在 h2 中,而融合模式注册表保存在 kafka 主题中. 对于 Spring Cloud 模式注册表,这种方法是否有任何性能影响.据我所知,即使数据在融合的情况下保持在主题上,查询它仍然会延迟.但会产生重大影响吗? 我还看 ..

Confluent 模式注册表与 Spring 云模式注册表

我目前一直在研究 Spring Cloud 模式注册表和融合模式注册表.我可以看到一些差异,例如 spring 云模式注册表将模式保存在普通数据库中,默认情况下保存在 h2 中,而融合模式注册表保存在 kafka 主题中. 对于 Spring Cloud 模式注册表,这种方法是否有任何性能影响.据我所知,即使数据在融合的情况下保持在主题上,查询它仍然会延迟.但会产生重大影响吗? 我还看 ..

kafka.common.KafkaException:无法解析来自 EC2 的zookeeper 的代理信息到弹性搜索

我设置了 aws MSK,我正在尝试将记录从 MSK 接收到弹性搜索.我能够将数据以 json 格式推送到 MSK.我想沉迷于弹性搜索.我能够正确地完成所有设置.这就是我在 EC2 实例上所做的 wget/usr/local http://packages.confluent.io/archive/3.1/confluent-oss-3.1.2-2.11.tar.gz -P ~/Download ..

kafka.common.KafkaException:无法解析来自 EC2 的zookeeper 的代理信息到弹性搜索

我设置了 aws MSK,我正在尝试将记录从 MSK 接收到弹性搜索.我能够将数据以 json 格式推送到 MSK.我想沉迷于弹性搜索.我能够正确地完成所有设置.这就是我在 EC2 实例上所做的 wget/usr/local http://packages.confluent.io/archive/3.1/confluent-oss-3.1.2-2.11.tar.gz -P ~/Download ..

Logstash 编解码器 - Avro 架构注册表:avro_schema_registry 由于未定义的局部变量或方法“响应"而失败

我有一个 Logstash conf,它以 json 格式从 Kafka 主题中读取,它使用 avro_schema_registry 将输出序列化为 avro.这是配置文件: 输入{卡夫卡{group_id =>“测试组"主题 =>[“logs_json"]bootstrap_servers =>“服务器 2:9094,服务器 1:9094,服务器 3:9094"编解码器 =>“json"消费 ..

Confluent 模式注册表与 Spring 云模式注册表

我目前一直在研究 Spring Cloud 模式注册表和融合模式注册表.我可以看到一些差异,例如 spring 云模式注册表将模式保存在普通数据库中,默认情况下保存在 h2 中,而融合模式注册表保存在 kafka 主题中. 对于 Spring Cloud 模式注册表,这种方法是否有任何性能影响.据我所知,即使数据在融合的情况下保持在主题上,查询它仍然会延迟.但会产生重大影响吗? 我还看 ..

Kafka 连接器和架构注册表 - 检索 Avro 架构时出错 - 未找到主题

我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业,如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus ..

Kafka 连接器和架构注册表 - 检索 Avro 架构时出错 - 未找到主题

我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业,如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus ..

无法在 Kafka 的 Avro Consumer 端解码自定义对象

我有一个具体的类,我在字节数组中对其进行序列化以发送到 Kafka 主题.对于序列化,我使用 ReflectDatumWriter .在发送字节 [] 之前,我在查看一些在线教程后将模式 ID 与模式 ID 放在前 4 个字节中. 我能够发送消息,但在 Avro 控制台消费者中使用它时,我得到的响应为: ./bin/kafka-avro-console-consumer --boots ..
发布时间:2021-11-12 03:00:55 Java开发

Confluent Schema Registry 持久化

即使服务器重新启动,我也希望能够保留具有固定 ID 的架构. 是否可以将架构保存在架构注册表中,以便在服务器崩溃后让它们具有相同的 ID? 否则,是否可以在模式注册服务器启动时使用固定 ID 对模式进行硬编码? 解决方案 这就是模式注册的目的:模式有一个固定的 id.SchemaRegistry 实际上并不在磁盘上存储任何东西.它利用 kafka 将所有信息存储在一个压缩的主题 ..
发布时间:2021-11-12 02:48:39 其他开发