confluent-schema-registry相关内容
我有一个使用 KafkaAvroSerializer 生成的 Kafka Avro 主题. 我的独立属性如下. 我正在使用 Confluent 4.0.0 运行 Kafka 连接. key.converter=io.confluent.connect.avro.AvroConvertervalue.converter=io.confluent.connect.avro.AvroConvert
..
在向 Kafka 生成 AVRO 数据时,Avro 序列化程序在写入数据时使用的字节数组中写入相同的模式 ID. Kafka 消费者根据收到的字节数组中的架构 ID 从架构注册表中获取架构.所以相同的架构 ID 用于生产者和消费者等架构中. 但是为什么很多文章包括这个one说消费者的模式可能与生产者的不同. 请帮助我理解这一点. 解决方案 Kafka 消费者根据架构
..
AVRO 模式可以注册到融合模式注册服务中吗? 根据 github 上的自述文件https://github.com/confluentinc/schema-registry 每个示例都使用一个 JSON 模式,其中包含一个没有任何名称的字段和类型. 我正在尝试将以下架构存储到存储库,但不同的变体会出现不同的错误. curl -X POST -H "Content-Type:
..
我需要使用融合模式注册来连接到 0.9 kafka.但是对于 schema-registry 2.0.1 版本,我没有看到可用的 SSL 配置.有没有办法为 schema-registry 和 kafka-rest 启用 ssl 以与 0.9 kafka 通信? 解决方案 该功能仅在 3.0 发行版中添加.如果你想支持 0.9/2.0 版本,你可以尝试 a) 发布 3.0 版本并将 Kaf
..
我目前一直在研究 Spring Cloud 模式注册表和融合模式注册表.我可以看到一些差异,例如 spring 云模式注册表将模式保存在普通数据库中,默认情况下保存在 h2 中,而融合模式注册表保存在 kafka 主题中. 对于 Spring Cloud 模式注册表,这种方法是否有任何性能影响.据我所知,即使数据在融合的情况下保持在主题上,查询它仍然会延迟.但会产生重大影响吗? 我还看
..
在我们的 Kafka 上尝试使用 confluentinc/kafka-connect-bigquery 时(Avro) 事件,我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题 domain.user 的数据反序列化为 Avro:在 io.confluent.connect.avro.AvroConverter.toConn
..
我目前一直在研究 Spring Cloud 模式注册表和融合模式注册表.我可以看到一些差异,例如 spring 云模式注册表将模式保存在普通数据库中,默认情况下保存在 h2 中,而融合模式注册表保存在 kafka 主题中. 对于 Spring Cloud 模式注册表,这种方法是否有任何性能影响.据我所知,即使数据在融合的情况下保持在主题上,查询它仍然会延迟.但会产生重大影响吗? 我还看
..
我设置了 aws MSK,我正在尝试将记录从 MSK 接收到弹性搜索.我能够将数据以 json 格式推送到 MSK.我想沉迷于弹性搜索.我能够正确地完成所有设置.这就是我在 EC2 实例上所做的 wget/usr/local http://packages.confluent.io/archive/3.1/confluent-oss-3.1.2-2.11.tar.gz -P ~/Download
..
我设置了 aws MSK,我正在尝试将记录从 MSK 接收到弹性搜索.我能够将数据以 json 格式推送到 MSK.我想沉迷于弹性搜索.我能够正确地完成所有设置.这就是我在 EC2 实例上所做的 wget/usr/local http://packages.confluent.io/archive/3.1/confluent-oss-3.1.2-2.11.tar.gz -P ~/Download
..
我有一个 Logstash conf,它以 json 格式从 Kafka 主题中读取,它使用 avro_schema_registry 将输出序列化为 avro.这是配置文件: 输入{卡夫卡{group_id =>“测试组"主题 =>[“logs_json"]bootstrap_servers =>“服务器 2:9094,服务器 1:9094,服务器 3:9094"编解码器 =>“json"消费
..
在我们的 Kafka 上尝试使用 confluentinc/kafka-connect-bigquery 时(Avro) 事件,我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题 domain.user 的数据反序列化为 Avro:在 io.confluent.connect.avro.AvroConverter.toConn
..
我目前一直在研究 Spring Cloud 模式注册表和融合模式注册表.我可以看到一些差异,例如 spring 云模式注册表将模式保存在普通数据库中,默认情况下保存在 h2 中,而融合模式注册表保存在 kafka 主题中. 对于 Spring Cloud 模式注册表,这种方法是否有任何性能影响.据我所知,即使数据在融合的情况下保持在主题上,查询它仍然会延迟.但会产生重大影响吗? 我还看
..
我正在尝试使用 KafkaAvroSerialzer 设置一个 kafka 生产者以获取价值.每当 rit 尝试创建 Producer 时,我都会遇到此错误.我正在使用 confluent 5.2.1 中提供的所有 jar java.lang.NoClassDefFoundError: 无法初始化类 io.confluent.kafka.schemaregistry.client.rest.Re
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业,如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业,如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
我有一个具体的类,我在字节数组中对其进行序列化以发送到 Kafka 主题.对于序列化,我使用 ReflectDatumWriter .在发送字节 [] 之前,我在查看一些在线教程后将模式 ID 与模式 ID 放在前 4 个字节中. 我能够发送消息,但在 Avro 控制台消费者中使用它时,我得到的响应为: ./bin/kafka-avro-console-consumer --boots
..
我正在尝试使用 KafkaAvroSerialzer 设置一个 kafka 生产者以获取价值.每当 rit 尝试创建 Producer 时,我都会遇到此错误.我正在使用 confluent 5.2.1 中提供的所有 jar java.lang.NoClassDefFoundError: 无法初始化类 io.confluent.kafka.schemaregistry.client.rest.Re
..
即使服务器重新启动,我也希望能够保留具有固定 ID 的架构. 是否可以将架构保存在架构注册表中,以便在服务器崩溃后让它们具有相同的 ID? 否则,是否可以在模式注册服务器启动时使用固定 ID 对模式进行硬编码? 解决方案 这就是模式注册的目的:模式有一个固定的 id.SchemaRegistry 实际上并不在磁盘上存储任何东西.它利用 kafka 将所有信息存储在一个压缩的主题
..
尝试使用架构注册表发布关于主题的 json 消息,但出现以下错误.以下spring引导方法 ... 提供了配置“schema.registry.url"但不是已知配置 应用 yml 文件 服务器:端口:9080春天:卡夫卡:特性:bootstrap.servers: server1:8080schema.registry.url: https://bctdsdg:8081/制作
..
虽然为字段定义了默认值,kafka-avro-console-producer 完全忽略它: $ kafka-avro-console-producer --broker-list localhost:9092 --topic test-avro \--property schema.registry.url=http://localhost:8081 --property \value.sch
..