avro相关内容
我正在尝试将 avro 字节流反序列化为 Scala 案例类对象.基本上，我有一个带有 avro 编码数据流的 kafka 流，现在有一个对架构的补充，我正在尝试更新 Scala 案例类以包含新字段.案例类看起来像这样 /** Case 类来保存设备数据.*/案例类 DeviceData(deviceId: String,sw_version:字符串，时间戳:字符串，阅读:双，新字段:选项[字符
..
我正在 Scala 中构建一个 Apache Flink 应用程序，它从 Kafka 总线读取流数据，然后对其执行汇总操作.来自 Kafka 的数据是 Avro 格式，需要一个特殊的反序列化类.我找到了这个 Scala 类 AvroDeserializationScehema (http://codegists.com/snippet/scala/avrodeserializationschema
..
我正在 Scala 中构建一个 Apache Flink 应用程序，它从 Kafka 总线读取流数据，然后对其执行汇总操作.来自 Kafka 的数据是 Avro 格式，需要一个特殊的反序列化类.我找到了这个 Scala 类 AvroDeserializationScehema (http://codegists.com/snippet/scala/avrodeserializationschema
..
我正在将来自 Kafka 的消息读入 Flink Shell (Scala)，如下: scala>val stream = senv.addSource(new FlinkKafkaConsumer011[String]("topic", new SimpleStringSchema(), properties)).print()警告:有一个弃用警告；使用 -deprecation 重新运行以获
..
我正在编写一个 Apache Flink 流应用程序，它对从 Kafka 总线读取的数据(Avro 格式)进行反序列化(有关 此处).数据被反序列化为 Scala 案例类.我在运行程序时遇到异常，它收到了来自 Kafka 的第一条消息 线程“main"中的异常 org.apache.flink.runtime.client.JobExecutionException: java.lang.Run
..
我没有看到如何使用camel-avro 组件生成和使用kafka avro 消息的示例?目前我的骆驼路线是这样的.为了使用camel-kafka-avro消费者和其他类似的模式注册和其他道具，应该改变什么?制作人. props.put(AbstractKafkaAvroSerDeConfig.SCHEMA_REGISTRY_URL_CONFIG, "http://localhost:8081")
..
我正在使用 Java 将 JSON 转换为 Avro，并使用 Google DataFlow 将它们存储到 GCS.Avro 架构是在运行时使用 SchemaBuilder 创建的. 我在架构中定义的字段之一是可选的 LONG 字段，它的定义如下: SchemaBuilder.FieldAssembler字段 = SchemaBuilder.record(mainName).fields(
..
背景:我们有一个 Dataflow 作业，它将 PubSub 消息转换为 Avro GenericRecords 并将它们作为“.avro"写入 GCS.PubSub 消息和 GenericRecords 之间的转换需要一个模式.此架构每周更改一次，仅添加字段.我们希望能够在不更新 Dataflow 作业的情况下更新字段. 我们做了什么:我们听取了这篇博文 并创建了一个每分钟刷新一次内容的
..
我在 DoFn 函数中构建了大约 10 万个顶点和大约 100 万条边的大图.当我尝试在 DoFn 函数中输出该图时，执行卡在 c.output(graph);. public static class Prep extends DoFn{@覆盖public void processElement(ProcessContext c) {//图创建逻辑运行速度很快，这里没问题LOG.info("
..
我正在尝试使用 Dataflow 模板 [1] 将 Avro 文件(由 Spark 3.0 生成)摄取到 BigTable 中，并得到以下错误. 注意这个文件可以在 Spark 和 Python avro 库中读取，没有明显问题. 有什么想法吗? 感谢您的支持！ 错误(简短) Caused by: org.apache.avro.AvroTypeException: Fo
..
主要目标是聚合两个 Kafka 主题，一个是压缩的慢速移动数据，另一个是每秒接收到的快速移动数据. 我已经能够在诸如 KV (Long,String) 之类的简单场景中使用类似以下内容的消息: PCollection>输入 = p.apply(KafkaIO.读取().withKeyDeserializer(LongDeserializer.class).withValueDeserial
..
上下文: 我能够将德鲁伊霸主的 MapReduce 作业提交给 EMR.我的数据源是 Parquet 格式的 S3.我在 Avroschema 不支持的镶木地板数据中有一个时间戳列 (INT96). 解析时间戳时出错 问题堆栈跟踪是: 错误:java.lang.IllegalArgumentException:INT96 尚未实现.在 org.apache.parquet.av
..
我编写了一个类来自定义将 UUID 类型的对象编码为要跨 kafka 和 avro 传输的字节. 为了使用这个类，我在目标对象中的 uuid 变量上方放置了一个 @AvroEncode(using=UUIDAsBytesEncoding.class).(这是由 apache avro 反射库实现的) 我很难弄清楚如何让我的消费者自动使用自定义解码器.(还是我必须进去手动解码?).
..
阅读https://avro.apache.org/docs/current/spec.html 它说模式必须是以下之一: 一个 JSON 字符串，命名一个定义的类型. 一个 JSON 对象，格式为:{"type": "typeName" ...attributes...} 其中 typeName 是一个原始类型或派生类型名称，定义如下.属性不本文档中定义的元数据是允许的，但不得影响序列化
..
我正在使用 https://github.com/allegro/json-avro-converter 将我的json消息转换为avro文件.调用convertToAvro方法后，我得到一个字节数组:byte [] byteArrayJson.然后，我使用来自Apache的commons库: FileUtils.writeByteArrayToFile(myFile.avro，byteArr
..
尝试在我们的Kafka上使用 confluentinc/kafka-connect-bigquery (Avro)事件，我遇到以下错误: org.apache.kafka.connect.errors.DataException:无法将主题domain.user的数据反序列化为Avro:在io.confluent.connect.avro.AvroConverter.toConnectData
..
我的工作流程是-我创建avsc文件，使用avrogencpp工具生成C ++类，并在C ++应用程序中创建avro二进制编码的数据. 我正在尝试找出方案2无法正常工作的原因. 场景1 test.avsc {"namespace":"com.company.project"，"name":"Component_DeviceInfo"，"type":“记录"，"doc":“标识客
..
我有以下对象: [{"ProductId":10，"ProductName":“某些名称"}] Bu有时候我只有 null .我试图为此提出一个模式.但这似乎不起作用:(. 我尝试了以下两种方法: {“名称":"ProductsOrNull"，"type":["null"，{"type":"array"，“名称":“产品"，“项目": {"type":“记录"，“名称":“产品"
..
我正在尝试在kafka主题上发布一些数据，该数据的avro模式包含联合类型.我正在android上使用kafka-rest代理来生成消息. 鉴于数据包含联合类型；从pojo到json转换器似乎都不起作用. 解决方案 请分享您的帖子数据. 我通常这样做是为了通过REST向Kafka Avro生成数据. 1)如果您没有架构ID: curl-请求POST \--url ht
..
Avro模式: {"name":“实体"，"type":“记录"，"namespace":"com.foobar.entity"，“字段":[{"name":“属性"，"type":“字符串"}，{"name":"value"，"type":"int"}，{"name":"timestamp"，"type":{"type":"long"，"logicalType":"timestamp-mic
..
