avro相关内容

Kafka CONNECT|无法反序列化主题的数据|检索id|Subject的Avro键/值架构版本时出错错误代码:40401

首先感谢@OneCricketeer到目前为止的支持。到目前为止,我已经尝试了这么多配置,我不知道还可以尝试什么。 使用合流connect-standalone worker.properties sink.properties访问外部流。 连接正常,我可以看到已加载偏移量: INFO[MY_MYSQL_SINK|TASK-0][消费者客户端ID=连接器-消费者-MY_MYSQL ..

Avro:创纪录的反序列化问题

我有一个要从中读取属性的SpecificRecord对象。让我们假设我没有访问这个规范记录对象的生成类的权限(因为这些类是在运行时通过反射从类池中动态选择的)。每个生成的类都有一个公共属性&Extact_DT_TM&Quot;(以及它的一个getter方法),我希望能够从该SpecificRecord对象(这就是我遇到问题的对象)中读取该属性。 到目前为止,我已尝试: publ ..
发布时间:2022-04-27 20:14:53 其他开发

在Python脚本中忽略了BigQuery Use_Avro_Logical_Types

我正在尝试使用一个Python脚本将avro文件加载到BigQuery。这个过程本身是成功的,但我在让BigQuery在创建表期间使用Avro的逻辑数据类型时遇到了一些问题。 Googlehere记录了这些逻辑类型的使用,并将其添加到google-cloud-python库here。 我的职业不是程序员,但我希望下面的片段是正确的……但是,USE_AVRO_LOGICAL_TYPE属性 ..
发布时间:2022-04-27 19:38:02 Python

将Avro二进制字符串转换为Json

我有一个Avro二进制格式的字符串。我想将字符串转换为json。有谁能给我带路吗?我尝试使用在线提供的解决方案,但不起作用。 public String avroToJson(byte[] avro) throws IOException { boolean pretty = false; GenericDatumReader r ..
发布时间:2022-04-27 19:26:07 Java开发

使用Spark-avro写入数据帧创建topLevelRecord-要使用现有架构

我正在使用Kryo编码器将GenericRecords编码为Spark DataFrame,并将该数据帧写入Avro文件。一旦我尝试从配置单元中读取文件,我就得到一个错误,说解析器找到的是toplevelRecords而不是预期的字段。这条记录不在我现有的模式中,我认为它是在我使用Spark-Avro编写时创建的。我想知道是否/如何从Avro文件中删除它。 如下所示: { "t ..
发布时间:2022-04-27 19:19:28 Java开发

如何在不对时间戳列使用INT96格式的情况下将Spark数据帧保存到拼图?

我有一个Spark DataFrame,我想将其另存为PARQUE,然后使用PARQUE-Avro库加载它。 我的数据帧中有一个时间戳列,它在拼图中被转换为INT96时间戳列。但是拼花-Avrodoes not support INT96格式化和抛出。 有没有办法避免呢?在Avro支持的内容中将时间戳写入拼图时,是否可以更改Spark使用的格式? 我当前使用 date_fr ..
发布时间:2022-04-27 19:05:29 其他开发

AVRO架构中嵌套记录的缺省值

这个问题/答案(How to nest records in an Avro schema?)阐明了如何嵌套复杂类型(本例中为记录)。然而,我想知道是否有人知道如何为记录类型设置缺省值。在上面问题所示的示例中,地址丢失,我收到错误消息,我希望avro将其默认为空词典或至少为空字符串-而不是我必须事先默认它。 推荐答案 avro中嵌套对象的默认值只能为null值。这是具有默认值null ..
发布时间:2022-04-27 18:56:00 其他开发

使用Avro将包含多列的行插入BigQuery

我在使用avro作为导入格式创建简单表格时遇到问题。我想创建一个包含N列原始数据类型的典型表,例如包含列c1 STRING和c2 INTEGER的表。 我使用的架构如下 { "type": "record", "name": "x", "fields": [ { "name": "c1", "typ ..
发布时间:2022-04-27 18:37:09 其他开发

如何在团队之间共享Avro架构定义

Kafka模式注册中心提供了一种很好的方式来使用公共数据契约序列化和反序列化Kafka中的数据。但是,数据约定(.avsc文件)是生产者和消费者之间的粘合剂。 一旦生产者生成了.avsc文件,就可以将其签入到生产者端的版本控制中。根据语言的不同,它还会自动生成类。 但是, 使用者获取架构定义以供参考的最佳机制是什么?有没有类似swaggerHub或Avro的典型API文档门户? 如 ..

如何在Java中从avro文件中提取模式

如何在Java中首先从Avro文件提取模式,然后从Avro文件中提取数据?与this问题相同,但在Java中除外。 我见过如何从AVSC文件而不是avro文件获取模式的示例。我应该朝哪个方向看? Schema schema = new Schema.Parser().parse( new File("/home/Hadoop/Avro/schema/emp.avsc") ); ..
发布时间:2022-04-27 18:13:44 Java开发

Avro 入门

我想开始使用 Avro 和 Map Reduce.有人可以建议一个很好的教程/示例来开始.我通过互联网搜索找不到太多内容. 解决方案 我最近做了一个项目,严重基于 Avro 数据,之前没有使用过这种数据格式,我不得不从头开始.你是对的,在开始使用 Avro 时很难从在线资源中获得很多帮助.我向您推荐的材料是: 到目前为止,我发现的最有用的资源是 Tom White 的 Hadoop ..
发布时间:2022-01-13 23:35:29 其他开发