kryo相关内容

Spark Kryo注册数组类

我正在尝试使用数组注册一个类(激活了Kryo的Spark Java),日志显示了一条清晰的消息: 类未注册:org.apache.spark.sql.execution.datasources.InMemoryFileIndex $ SerializableBlockLocation [] 我写了几种组合,但是这些组合不起作用: kryo.register(Class.forName(" ..
发布时间:2021-04-08 19:51:44 Java开发

如何让Spark使用Kryo序列化对象?

我想将对象从驱动程序节点传递到RDD所在的其他节点,以便RDD的每个分区都可以访问该对象,如以下代码片段所示. 对象HelloSpark {def main(args:Array [String]):Unit = {val conf = new SparkConf().setAppName("Testing HelloSpark").set("spark.serializer","org.apa ..
发布时间:2021-04-08 19:50:57 其他开发

Kryo vs编码器vs Spark中的Java序列化?

在这种情况下使用哪种序列化, 从spark文档中说: 它提供了两个序列化库: 1. Java(默认)和 2. Kryo 现在,编码器是从哪里来的,为什么在文档中没有给出. 从数据块中也可以看出,编码器对数据集的执行速度更快,关于RDD的性能如何,以及如何将所有这些映射在一起.在哪种情况下,我们应该使用哪个序列化程序? 解决方案 编码器仅在 Dataset 中使用. Kryo ..
发布时间:2021-04-08 19:47:09 其他开发

使用Pyspark时,您会从Kryo序列化程序中受益吗?

我读到Kryo序列化程序在Apache Spark中使用时可以提供更快的序列化.但是,我正在通过Python使用Spark. 切换到Kryo序列化器还能从中获得显着的好处吗? 解决方案 Kryo 不会对 PySpark 产生重大影响,因为它只是将数据存储为byte [] 对象,即使使用Java也可以快速序列化. 但是可能值得一试-您只需设置 spark.serializer 配 ..
发布时间:2021-04-08 19:35:12 其他开发

解决"Kryo序列化失败:缓冲区溢出".火花异常

我正在尝试运行Spark(Java)代码并收到错误消息 org.apache.spark.SparkException:Kryo序列化失败:缓冲区溢出.可用:0,必填:27“. 其他帖子建议将缓冲区设置为最大值.当我尝试最大缓冲区值为512MB时,出现错误 java.lang.ClassNotFoundException:org.apache.spark.serializer.Kryo ..
发布时间:2021-04-08 19:33:56 其他开发

没有这样的属性:类Script4的ToInputStream

我有一种情况想要将图形数据导入数据库。我正在使用Docker的cassandra(版本3)和elasticsearch(版本6.6.0)运行janusgraph(最新版本)。建议使用gryo格式。因此,我尝试了此命令 graph.io(IoCore.gryo())。reader()。create( ).readGraph(ToInputStream.from(“ my_graph.kryo ..
发布时间:2020-10-24 20:50:59 其他开发

使用Kryo序列化任意Java对象(获取IllegalAccessError)

动机: 为了帮助进行远程调试(Java),能够请求远程服务器将任意对象发送到我的本地计算机进行检查非常有用。但是,这意味着远程服务器必须能够序列化运行时预先未知的任意Java对象。 所以我四处询问,偶然发现了 Kryo序列化库。根据 Kryo的文档,其主要功能是,它在序列化任意Java对象方面非常强大。对象不必实现 Serializable ,不需要no-arg构造函数就可以反序列化, ..
发布时间:2020-10-21 00:15:00 Java开发

Gradle构建/测试失败-kryo.KryoException:缓冲区溢出

在运行Gradle构建时,测试失败。 PS: 1. Gradle使用的是正确的JDK (1.6)建立。 2.我在JDK 1.7中进行了尝试,同样出现了同样的错误。 3.当我在linux / windows上本地构建(使用JDK 1.6)时,看不到此错误。 4.机器,但其中一台正在运行我这个错误。 我的?s 1.如何解决com.esotericsoftwar ..
发布时间:2020-09-24 01:29:29 其他开发

风暴中的Kryo序列化

我需要通过apache storm(部署在远程集群中)序列化复杂对象(opencv:Mat).谁能建议我一个好的教程自定义kryo序列化或提出解决方案? 预先感谢! 解决方案 我已经创建了一个bean public class DataBean{ Mat imageMatrix; int id; public DataBean(){ } ..
发布时间:2020-09-04 22:47:21 其他开发

如何在Spark中使用Kryo序列化器缓存DataFrame?

我正在尝试将Spark与Kryo序列化程序一起使用,以较少的内存成本来存储一些数据.现在我遇到了麻烦,我无法使用Kryo序列化器将DataFram e(类型为Dataset [Row])保存在内存中.我以为我需要做的就是添加org.apache.spark.sql.Row to classesToRegister,但是仍然会出现错误: spark-shell --conf spark.kry ..
发布时间:2020-09-04 20:09:46 其他开发

Kryo在SparkSQL中有帮助吗?

Kryo通过有效的序列化方法帮助提高Spark应用程序的性能. 我想知道Kryo是否会在SparkSQL方面提供帮助,以及我应该如何使用它. 在SparkSQL应用程序中,我们将执行许多基于列的操作,例如df.select($"c1", $"c2"),并且DataFrame Row的架构不是完全静态的. 不确定如何为用例注册一个或多个序列化程序类. 例如: case class ..
发布时间:2020-09-04 07:03:48 其他开发

什么时候在Spark中使用Kryo序列化?

我已经在使用conf.set("spark.rdd.compress","true")和persist(MEMORY_AND_DISK_SER)压缩RDD.使用Kryo序列化会提高程序的效率,还是在这种情况下没有用?我知道Kryo用于以更有效的方式在节点之间发送数据.但是,如果通信的数据已经被压缩,甚至需要压缩吗? 解决方案 您描述(压缩和持久化)的两种RDD状态都使用序列化.当您保留一个 ..
发布时间:2020-09-04 06:46:32 其他开发

Kryo序列化器如何在Spark中分配缓冲区

请帮助了解Kryo串行器如何为其缓冲区分配内存. 我的Spark应用程序尝试从工作人员向驱动程序收集大约122Mb的数据时,在收集步骤上失败. com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0, required: 57197 at com.esotericsoftware.kryo.i ..
发布时间:2020-09-04 06:09:53 其他开发

Spark Kryo:注册自定义序列化程序

我有一个通过实现com.esotericsoftware.kryo.Serializer中的read()和write()方法来实现自定义Kryo序列化程序的类(请参见下面的示例). 如何向Spark注册此自定义序列化程序? 这是我所拥有的伪代码示例: class A() CustomASerializer extends com.esotericsoftware.kryo.Seri ..
发布时间:2020-09-04 00:52:25 其他开发

用kryo注册类的策略

我最近发现了图书馆kryonet,这是非常棒的,非常适合我的需求。 然而,我遇到的一个问题是为注册所有可以转移的类制定了一个好的策略。 我知道我可以在每个对象中编写一个静态方法,它将返回它使用的所有类的列表,但我真的不想这样做(为了我自己的时间目的,以及那些将扩展这些对象的人。) 我正在试图查看是否有办法获取对象所引用的所有类(在来自getClass()方法的字段以及它的继承), ..
发布时间:2018-12-17 10:07:59 Java开发

Kryo序列化库:它是否用于生产?

Kryo 是一个非常新颖且有趣的Java序列化库,也是 thrift-protobuf 基准。如果你已经使用过Kryo,它已经达到了足够的成熟度,可以在生产代码中试用吗? 更新(10/27/2010):我们正在使用Kryo,虽然尚未投入生产。有关详细信息,请参阅下面的答案。 更新(2011年3月9日):更新到最新的Jackson和Kryo​​库显示Jackson的二进制文件微笑序列化非 ..
发布时间:2018-12-04 14:00:47 Java开发