Avro Schema Registry 的价值是什么?
我有许多微服务在 Kafka 中读取/写入 Avro 消息. 架构很棒.阿罗很棒.但是真的需要架构注册表吗?它有助于集中架构，是的，但是微服务真的需要查询注册表吗?我不这么认为. 每个微服务都有一个架构副本，user.avsc，以及一个 Avro 生成的 POJO:User extends SpecificRecord.我想要每个 Schema 的 POJO，以便在代码中轻松操作.
..
confluent-schema-registry相关内容
Apache Camel Kafka 支持 Confluent 模式注册表
我正在尝试使用 kafka 组件创建骆驼路由，尝试使用 io.confluent.kafka.serializers.KafkaAvroDeserializer 和 schemaRegistry url 以及其他组件参数来使用事件.我不确定 Camel-Kafka 目前是否完全支持这一点.有人可以对此发表评论吗? from("kafka:{{kafka.notification.topic}}?
..
Broker 可能不可用错误 Kafka 模式注册表
我已经使用 Kubernetes 部署和服务定义了 Kafka 和 Kafka 架构注册表配置.我使用 这个链接 作为环境的参考变量设置.但是，当我尝试使用注册表运行 Kafka 时，我看到架构注册表 pod 崩溃并在日志中显示错误消息: [kafka-admin-client-thread |adminclient-1] 警告org.apache.kafka.clients.NetworkCl
..
检索 ID 为 1 的 Avro 架构时出错，未找到主题.；错误代码:40401
Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro schema for id 1引起:io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:找不到主题.；错误代码:40401
..
Kafka - 从命令行生成时出错(字符('<'(代码 60)):预期有效值)
我在我的笔记本电脑上旋转了一个 Docker 中的 Kafka(使用 docker-compose). 之后，创建了新的 kafka 主题: kafka-topics --zookeeper localhost:2181 --create --topic simple --replication-factor 1 --partitions 1 (尚未在架构注册表中创建架构). 现在
..
如何根据连接器名称获取 Kafka 源连接器架构
我正在使用 Confluent JDBC Kafka 连接器将消息发布到主题中.源连接器将在每次轮询时将数据与模式一起发送到主题.我想检索这个模式. 有可能吗?如何?谁能推荐我 我的目的是基于 Kafka 连接器在轮询时构建的架构创建 KSQL 流或表. 解决方案 最好的方法是使用 Avro，其中架构单独存储，并由 Kafka Connect 和 KSQL 自动使用. 您
..
检索 ID 为 1 的 Avro 架构时出错，未找到主题.；错误代码:40401
Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro schema for id 1引起:io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:找不到主题.；错误代码:40401
..
如何以编程方式从 Python 中的融合模式注册表中获取模式
截至目前，我正在做类似读取 avsc 文件以获取架构的操作 value_schema = avro.load('client.avsc') 我可以做些什么来使用主题名称从融合模式注册表中获取模式吗? 我找到了一种方法，但不知道如何使用它. https://github.com/marcosschroh/python-schema-registry-client 解决方案 使
..
如何使用camel-avro-consumer &制作人?
我没有看到如何使用camel-avro 组件生成和使用kafka avro 消息的示例?目前我的骆驼路线是这样的.为了使用camel-kafka-avro消费者和其他类似的模式注册和其他道具，应该改变什么?制作人. props.put(AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG, "http://localhost:8081")
..
Kafka Streams - SerializationException:未知的魔法字节
我正在尝试创建一个处理 Avro 记录的 Kafka Streams 应用程序，但出现以下错误: 线程中的异常“streams-application-c8031218-8de9-4d55-a5d0-81c30051a829-StreamThread-1"org.apache.kafka.streams.errors.StreamsException:反序列化异常处理程序设置为反序列化失败错误.
..
有没有办法将融合模式注册表与 kafka-node 模块一起使用?
我在 node.js 中实现了 Avro 模式，模式与消息有效负载一起发送.它工作正常.我正在寻找是否有任何方法可以将架构注册表与 Kafka 节点模块一起使用.我已经探索过，但没有成功找到. 并且在每条消息中发送模式会增加消息大小?与使用架构注册表相比，它会影响性能吗? 对此的任何帮助将不胜感激. 解决方案 您可以使用 "avro-schema-registry" 模块.它对
..
在没有 Confluent Schema Registry 的情况下在 KafkaConnect 中使用 Avro
我们在当前的基础设施中设置了 vanilla apache Kafka，我们开始记录一些我们想要使用 Kafka Connect 处理的数据.目前我们使用 Avro 作为我们的消息格式，但我们的基础设施中没有 Schema Registry.将来，我们计划用 Confluent 替换当前堆栈并使用 Schema Registry 和 Connect，但有一段时间我们只需要为此部署 Connect.
..
为什么将 Avro 与 Kafka 一起使用 - 如何处理 POJO
我有一个 spring 应用程序，它是我的 kafka 生产者，我想知道为什么 avro 是最好的方法.我阅读了它以及它提供的所有内容，但是为什么我不能将我用 jackson 创建的 POJO 序列化并将其发送到 kafka? 我这么说是因为 avro 的 POJO 生成不是那么简单.最重要的是，它需要 maven 插件和一个 .avsc 文件. 例如，我的 kafka 生产者上有一个
..
将 AWS 胶水架构注册表与融合的 SerDe 客户端结合使用
为了在我的 MSK 主题上支持架构注册表，我找到了两个选项 - AWS Glue 架构注册表；和 Confluent Schema Registry 由于 Glue SR 完全由 AWS 管理，我更愿意使用它.但是，我的生产者和消费者客户端是用 python 编写的，这限制了我在 java 中使用 AWS 提供的 SerDe 库. 我继续搜索是否可以使融合模式注册表 API(p
..
Kafka 模式注册表在同一主题中不兼容
我使用Kafka schema registry来生产/消费Kafka消息，例如我有两个字段，它们都是字符串类型，伪schema如下: {"name": "test1", "type": "string"}{“名称":“test2"，“类型":“字符串"} 但是在发送和消耗一段时间后，我需要修改架构以将第二个字段更改为长类型，然后抛出以下异常: 正在注册的架构与较早的架构不兼容；错误代码:4
..
使用 kafka lib 反序列化 PRIMITIVE AVRO KEY
我目前无法在 KSTREAM 应用程序中反序列化 avro PRIMITIVE 密钥 使用 avro 模式(在模式注册表中注册)编码的密钥， 当我使用 kafka-avro-console-consumer 时，我可以看到密钥被正确反序列化 但不可能让它在 KSTREAM 应用程序中工作 键的 avro 模式是一个 PRIMITIVE: {"type":"string"}
..
Schema Registry 中的向后兼容性问题和不确定性
我有一个用例，我有一个 JSON，我想从 JSON 中生成模式和记录并发布记录.我已经配置了值序列化器并且架构设置向后兼容. 第一个 JSON 字符串 json = "{\n" + " \"id\": 1,\n" +" \"名称\": \"耳机\",\n" +" \"价格\": 1250.0,\n" +" \"标签\": [\"home\", \"green\"]\n" +"}\n
..
是否可以反序列化 Avro 消息(使用来自 Kafka 的消息)而不在 ConfluentRegistryAvroDeserializationSchema 中提供 Reader 模式
我在 Apache Flink 中使用 Kafka 连接器来访问由 Confluent Kafka 提供的流. 除了模式注册表 url ConfluentRegistryAvroDeserializationSchema.forGeneric(...) 期待“阅读器"模式.我不想提供读取模式，而是想使用相同的作者模式(在注册表中查找)来读取消息，因为消费者不会有最新的模式. FlinkKa
..
Kafka Connect 不适用于主题策略
背景 我编写了几个小的 Kafka Connect 连接器.一个每秒生成随机数据，另一个将其记录在控制台中.它们与 Schema Registry 集成，因此数据是使用 Avro 进行序列化. 我使用 fast-data-dev Docker 镜像将它们部署到本地 Kafka 环境中Landoop 基本设置工作并每秒产生一条记录的消息 但是，我想更改 主题名称策略.默认生成
..
KafkaAvroDeserializer 不返回 SpecificRecord 但返回 GenericRecord
我的 KafkaProducer 能够使用 KafkaAvroSerializer 将对象序列化到我的主题.但是，KafkaConsumer.poll() 返回反序列化的 GenericRecord 而不是我的序列化类. MyKafkaProducer KafkaProducer生产者；尝试 (InputStream props = Resources.getResource("prod
..