检索 ID 为 1 的 Avro 架构时出错，未找到主题.；错误代码:40401
Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro schema for id 1引起:io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:找不到主题.；错误代码:40401
..
avro相关内容
明确指定 KSQL 流主题名称
我有两个 KSQL 主题 my-topic-1 和 my-topic-2，消息通过 AVRO 序列化.由于历史原因，my-topic-1 模式不是推荐的 topic-value 格式，而是 my-custom-subject-name代码>. 我想通过 KSQL 将记录从一个主题移动到另一个主题. 首先，让我们创建一个流: CREATE STREAM my-stream-1WITH
..
明确指定 KSQL 流主题名称
我有两个 KSQL 主题 my-topic-1 和 my-topic-2，消息通过 AVRO 序列化.由于历史原因，my-topic-1 模式不是推荐的 topic-value 格式，而是 my-custom-subject-name代码>. 我想通过 KSQL 将记录从一个主题移动到另一个主题. 首先，让我们创建一个流: CREATE STREAM my-stream-1WITH
..
Kafka Avro Deserializer 无法将 Kafka 消息反序列化为特定的 Avro 记录
我正在尝试将 kafka 中的 Avro messgaes 反序列化为从 Avro Schema 生成的 POJO.我正在使用 KafkaAvroDeserializer 进行此转换. 我能够在从 kafka 返回的 ConsumerRecord 记录中看到 GenericRecord.但是，当我尝试将此记录分配给生成的 POJO 类对象时，date 类型的 POJO 字段与 ClassCa
..
检索 ID 为 1 的 Avro 架构时出错，未找到主题.；错误代码:40401
Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro schema for id 1引起:io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:找不到主题.；错误代码:40401
..
如何使用 Avro 和 Flink 解码 Kafka 消息
我正在尝试使用 Flink 1.0.3 从 Kafka 主题中读取 AVRO 数据. 我只知道这个特定的 Kafka 主题有 AVRO 编码的消息，而我有 AVRO 架构文件. 我的 Flink 代码: public static void main(String[] args) 抛出异常 {StreamExecutionEnvironment env = StreamExecuti
..
在消费端通过 kafka 对 UUID 进行 Avro 自定义解码
我编写了一个类来自定义将 UUID 类型的对象编码为要跨 kafka 和 avro 传输的字节. 为了使用这个类，我在目标对象中的 uuid 变量上方放置了一个 @AvroEncode(using=UUIDAsBytesEncoding.class).(这是由 apache avro 反射库实现的) 我很难弄清楚如何让我的消费者自动使用自定义解码器.(还是我必须进去手动解码?).
..
如何以编程方式从 Python 中的融合模式注册表中获取模式
截至目前，我正在做类似读取 avsc 文件以获取架构的操作 value_schema = avro.load('client.avsc') 我可以做些什么来使用主题名称从融合模式注册表中获取模式吗? 我找到了一种方法，但不知道如何使用它. https://github.com/marcosschroh/python-schema-registry-client 解决方案 使
..
如何使用camel-avro-consumer &制作人?
我没有看到如何使用camel-avro 组件生成和使用kafka avro 消息的示例?目前我的骆驼路线是这样的.为了使用camel-kafka-avro消费者和其他类似的模式注册和其他道具，应该改变什么?制作人. props.put(AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG, "http://localhost:8081")
..
Kafka Streams - SerializationException:未知的魔法字节
我正在尝试创建一个处理 Avro 记录的 Kafka Streams 应用程序，但出现以下错误: 线程中的异常“streams-application-c8031218-8de9-4d55-a5d0-81c30051a829-StreamThread-1"org.apache.kafka.streams.errors.StreamsException:反序列化异常处理程序设置为反序列化失败错误.
..
Kafka Stream 从 JSON 到 Avro
我尝试使用 Kafka Stream 将带有字符串/JSON 消息的主题转换为另一个主题作为 Avro 消息. 流主方法: streamsConfiguration.put(StreamsConfig.KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());streamConfiguration.put(StreamsCo
..
如何从 Avro Schema 创建有效的 JSON 示例?
有一个相当复杂的 Avro 模式(我无法修改). 尝试在 Java 中模拟 JSON 示例: GenericRecord genericRecord = AvroUtil.jsonToGenericRecord(jsonData, avroSchema); 一直失败: 线程“main"org.apache.avro.AvroTypeException 中的异常:预期的启动联合.获得
..
有没有办法将融合模式注册表与 kafka-node 模块一起使用?
我在 node.js 中实现了 Avro 模式，模式与消息有效负载一起发送.它工作正常.我正在寻找是否有任何方法可以将架构注册表与 Kafka 节点模块一起使用.我已经探索过，但没有成功找到. 并且在每条消息中发送模式会增加消息大小?与使用架构注册表相比，它会影响性能吗? 对此的任何帮助将不胜感激. 解决方案 您可以使用 "avro-schema-registry" 模块.它对
..
在没有 Confluent Schema Registry 的情况下在 KafkaConnect 中使用 Avro
我们在当前的基础设施中设置了 vanilla apache Kafka，我们开始记录一些我们想要使用 Kafka Connect 处理的数据.目前我们使用 Avro 作为我们的消息格式，但我们的基础设施中没有 Schema Registry.将来，我们计划用 Confluent 替换当前堆栈并使用 Schema Registry 和 Connect，但有一段时间我们只需要为此部署 Connect.
..
为什么将 Avro 与 Kafka 一起使用 - 如何处理 POJO
我有一个 spring 应用程序，它是我的 kafka 生产者，我想知道为什么 avro 是最好的方法.我阅读了它以及它提供的所有内容，但是为什么我不能将我用 jackson 创建的 POJO 序列化并将其发送到 kafka? 我这么说是因为 avro 的 POJO 生成不是那么简单.最重要的是，它需要 maven 插件和一个 .avsc 文件. 例如，我的 kafka 生产者上有一个
..
Kafka 模式注册表在同一主题中不兼容
我使用Kafka schema registry来生产/消费Kafka消息，例如我有两个字段，它们都是字符串类型，伪schema如下: {"name": "test1", "type": "string"}{“名称":“test2"，“类型":“字符串"} 但是在发送和消耗一段时间后，我需要修改架构以将第二个字段更改为长类型，然后抛出以下异常: 正在注册的架构与较早的架构不兼容；错误代码:4
..
在 Windows 中启动 Confluent Schema Registry
我有 windows 环境和我自己的一套 kafka 和 zookeeper 正在运行.为了使用自定义对象，我开始使用 Avro.但我需要启动注册表.下载 Confluent 平台并运行: $ ./bin/schema-registry-start ./etc/schema-registry/schema-registry.properties/c/Confluent/confluent-3.0
..
Apache Kafka 和 Avro:无法将 org.apache.avro.generic.GenericData$Record 转换为 com.harmeetsingh13.java.Customer
每当我试图从 kafka 队列读取消息时，我都会收到以下异常: [error] (run-main-0) java.lang.ClassCastException: org.apache.avro.generic.GenericData$Record 无法转换为 com.harmeetsingh13.java.Customerjava.lang.ClassCastException: org.a
..
带有 Avro 和 Schema Repo 的 Apache Kafka - 消息中的模式 ID 在哪里?
我想使用 Avro 来序列化我的 Kafka 消息的数据，并希望将它与 Avro 架构存储库一起使用，这样我就不必在每条消息中都包含架构. 在 Kafka 中使用 Avro 似乎是一件很受欢迎的事情，很多博客/堆栈溢出问题/用户组等都参考发送带有消息的架构 ID，但我找不到它应该去哪里的实际示例. 我认为它应该放在 Kafka 消息头的某个地方，但我找不到明显的地方.如果它在 Avro
..
使用 kafka lib 反序列化 PRIMITIVE AVRO KEY
我目前无法在 KSTREAM 应用程序中反序列化 avro PRIMITIVE 密钥 使用 avro 模式(在模式注册表中注册)编码的密钥， 当我使用 kafka-avro-console-consumer 时，我可以看到密钥被正确反序列化 但不可能让它在 KSTREAM 应用程序中工作 键的 avro 模式是一个 PRIMITIVE: {"type":"string"}
..