confluent-schema-registry相关内容
我是 Kafka 和 Avro 的菜鸟.所以我一直试图让生产者/消费者运行.到目前为止，我已经能够使用以下方法生成和使用简单的字节和字符串:生产者的配置: Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer", "org.ap
..
我一直在尝试使用 Kubernetes 在本地部署带有架构注册表的 Kafka.但是，架构注册表 pod 的日志显示此错误消息: ERROR 服务器意外死亡:(io.confluent.kafka.schememaregistry.rest.SchemaRegistryMain:51)org.apache.kafka.common.errors.TimeoutException:获取主题元数据时
..
在搭建好Kafka Broker集群并创建了几个topic后，我们发现Kafka自动创建了以下两个topic: __consumer_offsets _schema 这些主题的重要性和用途是什么? 解决方案 __consumer_offsets 用于存储有关每个主题的已提交偏移量的信息:每个消费者组 (groupID) 的分区.它是压缩主题，因此数据将被定期压缩，并且只有最新
..
我在 Spark Structured Streaming 中使用 Kafka Source 来接收 Confluent 编码的 Avro 记录.我打算使用 Confluent Schema Registry，但是与 Spark 结构化流的集成似乎是不可能的. 我见过这个问题，但无法在 Confluent Schema Registry 中使用.使用 Spark 2.0 从 Kafka 读取
..
我在 Apache Flink 中使用 Kafka 连接器来访问由 Confluent Kafka 提供的流. 除了模式注册表 url ConfluentRegistryAvroDeserializationSchema.forGeneric(...) 期待“阅读器"模式.我不想提供读取模式，而是想使用相同的作者模式(在注册表中查找)来读取消息，因为消费者不会有最新的模式. FlinkKa
..
我正在尝试使用 kafka 组件创建骆驼路由，尝试使用 io.confluent.kafka.serializers.KafkaAvroDeserializer 和 schemaRegistry url 以及其他组件参数来使用事件.我不确定 Camel-Kafka 目前是否完全支持这一点.有人可以对此发表评论吗? from("kafka:{{kafka.notification.topic}}?
..
我没有看到如何使用camel-avro 组件生成和使用kafka avro 消息的示例?目前我的骆驼路线是这样的.为了使用camel-kafka-avro消费者和其他类似的模式注册和其他道具，应该改变什么?制作人. props.put(AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG, "http://localhost:8081")
..
我正在使用 Apache Beam 的 kafkaIO 从 Confluent 模式注册表中具有 avro 模式的主题中读取数据.我能够反序列化消息并写入文件.但最终我想写信给 BigQuery.我的管道无法推断架构.如何提取/推断架构并将其附加到管道中的数据，以便我的下游进程(写入 BigQuery)可以推断架构? 这是我使用模式注册表 url 设置解串器以及我从 Kafka 读取的代码:
..
为了在我的 MSK 主题上支持架构注册表，我找到了两个选项 - AWS Glue 架构注册表；和 Confluent Schema Registry 由于 Glue SR 完全由 AWS 管理，我更愿意使用它.但是，我的生产者和消费者客户端是用 python 编写的，这限制了我在 java 中使用 AWS 提供的 SerDe 库. 我继续搜索是否可以使 confluent 模式
..
我目前一直在研究 Spring Cloud 模式注册表和融合模式注册表.我可以看到一些差异，例如 spring 云模式注册表将模式保存在普通数据库中，默认情况下保存在 h2 中，而融合模式注册表保存在 kafka 主题中. 对于 Spring Cloud 模式注册表，这种方法是否有任何性能影响.据我所知，即使数据在融合的情况下保持在主题上，查询它仍然会延迟.但会产生重大影响吗? 我还看
..
尝试在我们的Kafka上使用 confluentinc/kafka-connect-bigquery (Avro)事件，我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题domain.user的数据反序列化为Avro:在io.confluent.connect.avro.AvroConverter.toConnectData
..
我正在尝试使用 kafka-schema-registery API创建新的 schema .下面是实现: 让值= JSON.stringify(avroSchema);让type = {"schema":value};fetch(`$ {process.env.SCHEMA_REGISTRY_URL}/subjects/$ {topic}/versions，{体型，方法:"POST"，标头:{
..
如何使用Spring-Kafka通过Confluent Schema注册表读取AVRO消息?有样品吗?我在官方参考文件中找不到它. 解决方案 下面的代码可以读取customer-avro主题中的消息.这是我定义为的值的AVRO模式. {"type":“记录"，"namespace":"com.example"，"name":“客户"，"version":"1"，“字段":[{"name
..
我们正在开发中，并试图删除主题的架构，因为更改与旧架构不兼容. 我们删除了架构/主题，并尝试使用相同的主题名称创建新架构，并且架构已成功创建. 但是，当我们运行该应用程序时，它仍然指向相同的架构ID. 旧模式ID(针对主题"topic1"):51 新的模式ID(针对主题"topic1"):52 应用程序失败，并出现反序列化消息的错误 org.apache.kafka
..
即使服务器重新启动，我也希望能够保留具有固定ID的架构. 是否可以将模式持久保存在模式注册表中，以便在服务器崩溃后使它们具有相同的ID? 否则，当模式注册服务器启动时，是否可以对具有固定ID的模式进行硬编码? 解决方案 这是架构注册表的目的:架构具有固定的ID.SchemaRegistry实际上不会在磁盘上存储任何内容.它利用kafka将所有信息存储在一个压缩的主题中(默认情况
..
My Kafka和Schema Registry基于Confluent社区平台5.2.2，而My Spark的版本为2.4.4.我通过以下方式启动了Spark REPL env: ./bin/spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.4，org.apache.spark:spark-avro_2.
..
截至目前，我正在做类似此操作的读取avsc文件以获取架构 value_schema = avro.load('client.avsc') 我可以做一些事情来使用主题名从融合架构注册表中获取架构吗? 我找到了一种方法，但不知道如何使用它. https://github.com/marcosschroh/python-schema-registry-client 解决方案
..
上下文 我编码了几个小的 Kafka Connect 连接器.一个每秒仅生成随机数据，另一个每秒将其记录在控制台中.它们与架构注册表集成在一起，因此数据是用 Avro 序列化. 我使用 fast-data-dev Docker映像将它们部署到本地Kafka环境中Landoop 基本设置有效并每秒产生一条消息，记录下来 但是，我想更改 TopicRecordNameStrat
..
我是Kafka和Avro的菜鸟.因此，我一直在尝试使生产者/消费者运行.到目前为止，我已经能够使用以下方法产生和使用简单的字节和字符串:生产者的配置: 属性props = new Properties();props.put("bootstrap.servers"，"localhost:9092");props.put("key.serializer"，"org.apache.kafka.com
..
设置Kafka Broker集群并创建了几个主题之后，我们发现Kafka自动创建以下两个主题: __ consumer_offsets _schema 这些主题的重要性和用途是什么? 解决方案 __ consumer_offsets 用于存储有关每个主题的承诺偏移量的信息:每组使用者的分区数(groupID).这是一个紧凑的主题，因此将定期压缩数据，并且仅提供最新的偏移量信息
..
