avro相关内容
在我们的 Kafka 上尝试使用 confluentinc/kafka-connect-bigquery 时(Avro) 事件，我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题 domain.user 的数据反序列化为 Avro:在 io.confluent.connect.avro.AvroConverter.toConn
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业，如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
我设置了一个融合的 s3 接收器连接，它将 .avro 文件存储在 s3 中. 我转储这些文件，发现它们只是消息本身，我不知道在哪里可以找到消息密钥，知道吗? 配置如下: {"name": "s3-sink-test",“配置":{"connector.class": "io.confluent.connect.s3.S3SinkConnector","tasks.max": "1","
..
我们在当前的基础设施中设置了 vanilla apache Kafka，我们开始记录一些我们想要使用 Kafka Connect 处理的数据.目前我们使用 Avro 作为我们的消息格式，但我们的基础设施中没有 Schema Registry.将来，我们计划用 Confluent 替换当前堆栈并使用 Schema Registry 和 Connect，但有一段时间我们只需要为此部署 Connect.
..
我们正在尝试使用 Confluent JDBC Sink 连接器将主题中的值写回 postgres 数据库. connector.class=io.confluent.connect.jdbc.JdbcSinkConnector连接.密码=xxx任务.max=1主题=主题名称自动进化=真connection.user=confluent_rw自动创建=真connection.url=jdbc:p
..
背景 我编写了几个小的 Kafka Connect 连接器.一个每秒生成随机数据，另一个将其记录在控制台中.它们与 Schema Registry 集成，因此数据是使用 Avro 进行序列化. 我使用 fast-data-dev Docker 镜像将它们部署到本地 Kafka 环境中Landoop 基本设置工作并每秒产生一条记录的消息 但是，我想更改 主题名称策略.默认生成
..
我有一个使用 KafkaAvroSerializer 生成的 Kafka Avro 主题. 我的独立属性如下. 我正在使用 Confluent 4.0.0 运行 Kafka 连接. key.converter=io.confluent.connect.avro.AvroConvertervalue.converter=io.confluent.connect.avro.AvroConvert
..
在向 Kafka 生成 AVRO 数据时，Avro 序列化程序在写入数据时使用的字节数组中写入相同的模式 ID. Kafka 消费者根据收到的字节数组中的架构 ID 从架构注册表中获取架构.所以相同的架构 ID 用于生产者和消费者等架构中. 但是为什么很多文章包括这个one说消费者的模式可能与生产者的不同. 请帮助我理解这一点. 解决方案 Kafka 消费者根据架构
..
AVRO 模式可以注册到融合模式注册服务中吗? 根据 github 上的自述文件https://github.com/confluentinc/schema-registry 每个示例都使用一个 JSON 模式，其中包含一个没有任何名称的字段和类型. 我正在尝试将以下架构存储到存储库，但不同的变体会出现不同的错误. curl -X POST -H "Content-Type:
..
在回顾示例时，我看到了很多这样的内容: FlinkKafkaConsumer08kafkaConsumer = new FlinkKafkaConsumer08("myavrotopic", avroSchema, properties); 我看到他们在这里已经知道架构. 在将 byte[] 读入通用记录之前，我不知道架构然后获取架构.(因为它可能会因记录而异) 有人可以将我指向从
..
在我们的 Kafka 上尝试使用 confluentinc/kafka-connect-bigquery 时(Avro) 事件，我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题 domain.user 的数据反序列化为 Avro:在 io.confluent.connect.avro.AvroConverter.toConn
..
尝试将 Avro 格式的消息发送到 Kafka 并使用它.直到一些研究添加了 Thread.sleep(16000) 以便生产者等待消息之后，它才发送消息.但是它再次停止工作.它是 org.apache.kafka.common.protocol.Errors - Unexpected error code: 87. Failed to generate messages to topic.
..
我正在为 debezium 使用 AWS 架构注册表. 在 debezium 中，我提到服务器名称为 mysql-db01.因此，debezium 将使用此服务器名称创建一个主题，以添加一些有关服务器和架构更改的元数据. 当我部署连接器时，在架构注册表中我得到了这样的架构. {“类型":“记录"，“名称":“SchemaChangeKey"，“命名空间":“io.debezium.c
..
在我们的 Kafka 上尝试使用 confluentinc/kafka-connect-bigquery 时(Avro) 事件，我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题 domain.user 的数据反序列化为 Avro:在 io.confluent.connect.avro.AvroConverter.toConn
..
我正在尝试将 avro 字节流反序列化为 Scala 案例类对象.基本上，我有一个带有 avro 编码数据流的 kafka 流，现在有一个对架构的补充，我正在尝试更新 Scala 案例类以包含新字段.案例类看起来像这样 /** Case 类来保存设备数据.*/案例类 DeviceData(deviceId: String,sw_version:字符串，时间戳:字符串，阅读:双，新字段:选项[字符
..
我正在尝试使用 KafkaAvroSerialzer 设置一个 kafka 生产者以获取价值.每当 rit 尝试创建 Producer 时，我都会遇到此错误.我正在使用 confluent 5.2.1 中提供的所有 jar java.lang.NoClassDefFoundError: 无法初始化类 io.confluent.kafka.schemaregistry.client.rest.Re
..
我编写了一个消费者来使用架构注册表读取 Avro 的通用记录. FlinkKafkaConsumer010 kafkaConsumer010 = new FlinkKafkaConsumer010(KAFKA_TOPICS,新的 KafkaGenericAvroDeserializationSchema(schemaRegistryUrl)，特性); 反序列化类如下所示: 公共类KafkaG
..
我有一个最终会有很多不同模式的主题.现在它只有一个.我已经通过 REST 创建了一个连接作业，如下所示: {"name":"com.mycompany.sinks.GcsSinkConnector-auth2",“配置":{"connector.class": "com.mycompany.sinks.GcsSinkConnector","topics": "auth.events","flus
..
我对将数据从 SQL Server 加载到 Kafka 感兴趣.表中的一列是 XML 一列.我们如何在 KSQL 流中将 XML 转换为 JSON 或 AVRO 共振峰? 解决方案 您可以使用 Kafka Connect 和 XML 单消息转换 (SMT). 例如: transforms=Keytransforms.Key.type=com.github.jcustenborder
..
我对将数据从 SQL Server 加载到 Kafka 感兴趣.表中的一列是 XML 一列.我们如何在 KSQL 流中将 XML 转换为 JSON 或 AVRO 共振峰? 解决方案 您可以使用 Kafka Connect 和 XML 单消息转换 (SMT). 例如: transforms=Keytransforms.Key.type=com.github.jcustenborder
..
