confluent-schema-registry相关内容
我在这里找到了一些https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-dotnet-avro-serialization#Scenario2代码,它们可以颠倒我所需要的: //Define the schema in JSON const string Schema = @"{ ""type"":""record"",
..
这是架构-注册表.属性的配置 listeners=http://10.X.X.76:8081 kafkastore.bootstrap.servers=PLAINTEXT://10.XXX:9092,PLAINTEXT://10.XXX:9092,PLAINTEXT://10.XXXX.1:9092,PLAINTEXT://1XXXX.69:9092 kafkastore.topic=_sc
..
首先感谢@OneCricketeer到目前为止的支持。到目前为止,我已经尝试了这么多配置,我不知道还可以尝试什么。 使用合流connect-standalone worker.properties sink.properties访问外部流。 连接正常,我可以看到已加载偏移量: INFO[MY_MYSQL_SINK|TASK-0][消费者客户端ID=连接器-消费者-MY_MYSQL
..
我正在尝试使用Kafka-avro-控制台-Producer 5.4.0-ccs,而不自动注册模式。我尝试使用: --producer-property auto.register.schemas=false 和 --property auto.register.schemas=false 但无论如何它都在注册架构。该属性似乎正确:https://github.com/co
..
我正在尝试使用Go中的/linkedIn/goavro包将Avro编码的数据生成Kafka主题。目标是能够使用不同的客户端使用主题。 首先,我按如下方式注册架构: curl -X POST -H "Content-Type: application/vnd.schemaregistry.v1+json" --data '{"schema": "{"name":"test_topic2"
..
Kafka模式注册中心提供了一种很好的方式来使用公共数据契约序列化和反序列化Kafka中的数据。但是,数据约定(.avsc文件)是生产者和消费者之间的粘合剂。 一旦生产者生成了.avsc文件,就可以将其签入到生产者端的版本控制中。根据语言的不同,它还会自动生成类。 但是, 使用者获取架构定义以供参考的最佳机制是什么?有没有类似swaggerHub或Avro的典型API文档门户? 如
..
我正在寻找使用模式注册中心的kafka-stream。我有谷歌,但找不到合适的教程。 推荐答案 文档在此处 https://docs.confluent.io/current/streams/developer-guide/datatypes.html#avro 这是依赖项 io.confluent
..
我没有看到如何使用 camel-avro 组件生成和使用 kafka avro 消息的示例?目前我的骆驼路线是这样的.为了使用模式注册和其他类似的道具,应该改变它使用camel-kafka-avro consumer &制片人. props.put(AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG, "http://localhost
..
我一直在尝试使用 Kubernetes 在本地部署带有架构注册表的 Kafka.但是,架构注册表 pod 的日志显示此错误消息: ERROR 服务器意外死亡:(io.confluent.kafka.schememaregistry.rest.SchemaRegistryMain:51)org.apache.kafka.common.errors.TimeoutException:获取主题元数据时
..
我一直在尝试使用 Kubernetes 在本地部署带有架构注册表的 Kafka.但是,架构注册表 pod 的日志显示此错误消息: ERROR 服务器意外死亡:(io.confluent.kafka.schememaregistry.rest.SchemaRegistryMain:51)org.apache.kafka.common.errors.TimeoutException:获取主题元数据时
..
我在 Spark Structured Streaming 中使用 Kafka Source 来接收 Confluent 编码的 Avro 记录.我打算使用 Confluent Schema Registry,但是与 Spark 结构化流的集成似乎是不可能的. 我见过这个问题,但无法在 Confluent Schema Registry 中使用.使用 Spark 2.0 从 Kafka 读取
..
我正在尝试创建一个处理 Avro 记录的 Kafka Streams 应用程序,但出现以下错误: 线程中的异常“streams-application-c8031218-8de9-4d55-a5d0-81c30051a829-StreamThread-1"org.apache.kafka.streams.errors.StreamsException:反序列化异常处理程序设置为反序列化失败错误.
..
我目前无法在 KSTREAM 应用程序中反序列化 avro PRIMITIVE 密钥 使用 avro 模式(在模式注册表中注册)编码的密钥, 当我使用 kafka-avro-console-consumer 时,我可以看到密钥被正确反序列化 但不可能让它在 KSTREAM 应用程序中工作 键的 avro 模式是一个 PRIMITIVE: {"type":"string"}
..
我有一个使用 KafkaAvroSerializer 生成的 Kafka Avro 主题. 我的独立属性如下. 我正在使用 Confluent 4.0.0 运行 Kafka 连接. key.converter=io.confluent.connect.avro.AvroConvertervalue.converter=io.confluent.connect.avro.AvroConvert
..
在我们的 Kafka 上尝试使用 confluentinc/kafka-connect-bigquery 时(Avro) 事件,我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题 domain.user 的数据反序列化为 Avro:在 io.confluent.connect.avro.AvroConverter.toConn
..
我设置了 aws MSK,我正在尝试将记录从 MSK 接收到弹性搜索.我能够将数据以 json 格式推送到 MSK.我想沉迷于弹性搜索.我能够正确地完成所有设置.这就是我在 EC2 实例上所做的 wget/usr/local http://packages.confluent.io/archive/3.1/confluent-oss-3.1.2-2.11.tar.gz -P ~/Download
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业,如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
我正在使用 Confluent JDBC Kafka 连接器将消息发布到主题中.源连接器将在每次轮询时将数据与模式一起发送到主题.我想检索这个模式. 有可能吗?如何?谁能推荐我 我的目的是基于 Kafka 连接器在轮询时构建的架构创建 KSQL 流或表. 解决方案 最好的方法是使用 Avro,其中架构单独存储,并由 Kafka Connect 和 KSQL 自动使用. 您
..
我们在当前的基础设施中设置了 vanilla apache Kafka,我们开始记录一些我们想要使用 Kafka Connect 处理的数据.目前我们使用 Avro 作为我们的消息格式,但我们的基础设施中没有 Schema Registry.将来,我们计划用 Confluent 替换当前堆栈并使用 Schema Registry 和 Connect,但有一段时间我们只需要为此部署 Connect.
..
背景 我编写了几个小的 Kafka Connect 连接器.一个每秒生成随机数据,另一个将其记录在控制台中.它们与 Schema Registry 集成,因此数据是使用 Avro 进行序列化. 我使用 fast-data-dev Docker 镜像将它们部署到本地 Kafka 环境中Landoop 基本设置工作并每秒产生一条记录的消息 但是,我想更改 主题名称策略.默认生成
..