avro 类型的 createDataFrame 中的无限递归
在此示例中，我从 createDataFrame 调用内部收到 StackOverflowError.它起源于涉及 Java 类型推断的 Scala 代码，该代码在无限循环中调用自身. final EventParser parser = new EventParser();JavaRDDeventRDD = sc.textFile(path).map(new Function(){公共事件调用
..
avro相关内容
在 SparkSQL 中使用 Avro 模式和 Parquet 格式进行读/写
我正在尝试从 SparkSQL 写入和读取 Parquet 文件.由于模式演变的原因，我想在我的写入和读取中使用 Avro 模式. 我的理解是，这可以在 Spark 之外(或在 Spark 中手动)使用例如AvroParquetWriter 和 Avro 的通用 API.但是，我想使用 SparkSQL 的 write() 和 read() 方法(与 DataFrameWriter 和 Da
..
如何使用 spark-avro 包从 spark-shell 读取 avro 文件?
我正在尝试使用 spark-avro 包，如 Apache Avro 数据源指南. 当我提交以下命令时: val df = spark.read.format("avro").load("~/foo.avro") 我收到一个错误: java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRe
..
如何在 Spark 中创建一个空的数据帧
我有一组基于 Avro 的配置单元表，我需要从中读取数据.由于 Spark-SQL 使用 hive serdes 从 HDFS 读取数据，因此比直接读取 HDFS 慢得多.所以我使用数据砖 Spark-Avro jar 从底层 HDFS 目录读取 Avro 文件. 一切正常，除非桌子是空的.我已设法使用以下命令从 hive 表的 .avsc 文件中获取架构，但出现错误“未找到 Avro 文件
..
Avro Schema 激发 StructType
这实际上与我的上一个问题相同，但使用Avro 而不是 JSON 作为数据格式. 我正在使用一个 Spark 数据框，它可以从几个不同的架构版本之一加载数据: //版本一{“命名空间":“com.example.avro"，"类型": "记录","name": "我的对象",“领域":[{"name": "A", "type": ["null", "int"], "default": nul
..
如何将 RDD[GenericRecord] 转换为 Scala 中的数据帧?
我使用 Avro(串行器和解串器)从 kafka 主题获取推文.然后我创建了一个火花消费者，它在 RDD [GenericRecord] 的 Dstream 中提取推文.现在我想将每个 rdd 转换为数据帧以通过 SQL 分析这些推文.任何将 RDD[GenericRecord] 转换为数据帧的解决方案? 解决方案 我花了一些时间试图使这项工作(特别是如何正确反序列化数据，但看起来您已经涵
..
将 Spark Structured Streaming 与 Confluent Schema Registry 集成
我在 Spark Structured Streaming 中使用 Kafka Source 来接收 Confluent 编码的 Avro 记录.我打算使用 Confluent Schema Registry，但是与 Spark 结构化流的集成似乎是不可能的. 我见过这个问题，但无法在 Confluent Schema Registry 中使用.使用 Spark 2.0 从 Kafka 读取
..
无法在猪中加载 avro 架构
我有一个 avro 模式，我正在用该模式将数据写入 AvroSequenceFileOutputFormat.我查看了文件，可以确认该模式可供读取.我调用函数 avro = 使用 AvroStorage() 加载“part-r-00000.avro"； 它给了我错误信息 错误 org.apache.pig.tools.grunt.Grunt - 错误 2245:无法从 loadFunc or
..
猪铸造/数据类型
我正在尝试将关系转储到 AVRO 文件中，但出现一个奇怪的错误: org.apache.pig.data.DataByteArray 不能转换为 java.lang.CharSequence 我不使用DataByteArray(字节数组)，见下面的关系描述. sensitiveSet: {rank_ID: long,name: chararray,customerId: long,VIN:
..
在 Apache NiFi 中定义 Apache Avro Schema 全名
使用 NiFi 1.7.1(使用 Java Avro 1.8.1)和 AvroSchemaRegistry，我试图定义一个包含 name 和 app.name 在顶层.根据 Avro 文档 [1]，我假设我可以像普通的 "name": "app.name" 一样定义全名，但我遇到了错误 Illegal character in: app.名称.确实，全名的名称部分不允许使用点，但根据文档:“如果指
..
为时间戳记录创建适当的 avro 架构
我想知道这种格式的 json 到 avro 转换的正确 avro 架构是什么: {"entryDate": "2018-01-26T12:00:40.930"} 我的架构: {“类型":“记录"，"name" : "架构",“字段":[{"name": "entryDate",“类型":[“空"，{“类型":“长"，"logicalType" : "timestamp-micros"}],“
..
在 Nifi 中从 Avro Schema 创建一个 Postgresql 表
使用 InferAvroSchema 我得到了我的文件的 Avro Schema.我想使用这个 Avro 模式在 PostregSql 中创建一个表.我必须使用哪个处理器. 我使用:GetFile->InferAvroSchema-> 我想从这个模式创建一个表 -> Put databaseRecord. avro 架构: {“类型":“记录"，"name": "保修","doc"
..
具有解码器问题的 Kafka Avro 消费者
当我尝试使用我各自的架构对数据运行 Kafka Consumer with Avro 时，它返回一个错误 "AvroRuntimeException: Malformed data. Length is negative: -40" .我看到其他人也有类似的问题 将字节数组转换为 json，Avro 写入和读取，以及 Kafka Avro Binary *coder.我还参考了这个 Consume
..
在 gradle 中使用 sbt Avrohugger 插件
我正在使用 https://github.com/julianpeeters/avrohugger sbt 插件生成 ScalaAvro .avsc 文件的 case 类.如何在 Gradle 项目中使用相同的插件? 解决方案 我创建了 gradle 插件，用于从 Avro 模式生成 Scala 案例类，它在内部使用 avrohugger 库. 所以现在把这个插件添加到你的项目中就足
..
AVRO 原始类型的 Serde 类
我正在用 Java 编写一个 Kafka 流应用程序，它接受由连接器创建的输入主题，该连接器使用模式注册表和 avro 作为键和值转换器.连接器产生以下架构: key-schema: "int"价值模式:{"类型": "记录","name": "用户",“领域":[{"name": "firstname", "type": "string"},{"name": "lastname", "type
..
Kafka Streams - SerializationException:未知的魔法字节
我正在尝试创建一个处理 Avro 记录的 Kafka Streams 应用程序，但出现以下错误: 线程中的异常“streams-application-c8031218-8de9-4d55-a5d0-81c30051a829-StreamThread-1"org.apache.kafka.streams.errors.StreamsException:反序列化异常处理程序设置为反序列化失败错误.
..
Kafka Stream 从 JSON 到 Avro
我尝试使用 Kafka Stream 将带有字符串/JSON 消息的主题转换为另一个主题作为 Avro 消息. 流主方法: streamsConfiguration.put(StreamsConfig.KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());streamConfiguration.put(StreamsCo
..
使用 kafka lib 反序列化 PRIMITIVE AVRO KEY
我目前无法在 KSTREAM 应用程序中反序列化 avro PRIMITIVE 密钥 使用 avro 模式(在模式注册表中注册)编码的密钥， 当我使用 kafka-avro-console-consumer 时，我可以看到密钥被正确反序列化 但不可能让它在 KSTREAM 应用程序中工作 键的 avro 模式是一个 PRIMITIVE: {"type":"string"}
..
org.apache.kafka.connect.errors.DataException: 无效的 JSON 记录默认值:null
我有一个使用 KafkaAvroSerializer 生成的 Kafka Avro 主题. 我的独立属性如下. 我正在使用 Confluent 4.0.0 运行 Kafka 连接. key.converter=io.confluent.connect.avro.AvroConvertervalue.converter=io.confluent.connect.avro.AvroConvert
..
debezium - 架构注册表问题
我正在为 debezium 使用 AWS 架构注册表. 在 debezium 中，我提到服务器名称为 mysql-db01.因此，debezium 将使用此服务器名称创建一个主题，以添加一些有关服务器和架构更改的元数据. 当我部署连接器时，在架构注册表中我得到了这样的架构. {“类型":“记录"，“名称":“SchemaChangeKey"，“命名空间":“io.debezium.c
..