暴风雨中的 kryo 连载
我需要通过 apache Storm(部署在远程集群中)序列化复杂对象 (opencv:Mat).任何人都可以向我推荐一个很好的自定义 kryo 序列化教程或提出有关如何执行此操作的解决方案吗?提前致谢！ 解决方案 我已经创建了一个 bean 公共类 DataBean{垫子图像矩阵；内部标识；公共数据豆(){}公共数据豆(int id，垫矩阵){setId(id);设置图像矩阵(矩阵)
..
kryo相关内容
java.util.ConcurrentModificationException 在 Stormcrawler 中向元数据添加一些键时发生
我在元数据中添加了一个字段，用于在状态索引中传输和持久化.该字段是一个字符串列表，其名称为 input_keywords.在 Strom 集群中运行拓扑后，拓扑停止并显示以下日志: java.lang.RuntimeException: com.esotericsoftware.kryo.KryoException: java.util.ConcurrentModificationExcepti
..
如何在storm中注册kryo序列化器实例?
我正在绝望地尝试配置序列化程序实例以在我的 Storm 拓扑中使用. storm 文档指出，有两种方法可以注册序列化程序: 1.要注册的类的名称.在这种情况下，Storm 将使用 Kryo 的 FieldsSerializer 来序列化类.这可能是课程的最佳选择，也可能不是 - 有关更多详细信息，请参阅 Kryo 文档.2. 从要注册的类的名称到 com.esotericsoftware.
..
如何在 Spark 数据集中存储嵌套的自定义对象?
问题是如何在Dataset中存储自定义对象的后续问题? Spark 版本:3.0.1 可以实现非嵌套自定义类型: import spark.implicits._导入 org.apache.spark.sql.{Encoder, Encoders}类 AnObj(val a: Int, val b: String)隐式 val myEncoder: Encoder[AnObj] =
..
如何在 Spark 中使用 Kryo Serializer 缓存 DataFrame?
我正在尝试将 Spark 与 Kryo Serializer 结合使用，以降低内存成本来存储一些数据.现在我遇到了一个问题，我无法使用 Kryo 序列化程序在内存中保存 DataFram e(其类型为 Dataset[Row]).我以为我需要做的就是将 org.apache.spark.sql.Row 添加到 classesToRegister，但仍然出现错误: spark-shell --co
..
如何在 Spark 中使用 Kryo 注册 InternalRow
我想使用 Kryo 序列化运行 Spark.因此我设置了 spark.serializer=org.apache.spark.serializer.KryoSerializer 和 spark.kryo.registrationRequired=true 然后当我运行我的代码时出现错误: 类未注册:org.apache.spark.sql.catalyst.InternalRow[]
..
Kryo 对 SparkSQL 有帮助吗?
Kryo 通过高效的序列化方法帮助提高 Spark 应用程序的性能. 我想知道 Kryo 是否会在 SparkSQL 的情况下有所帮助，我应该如何使用它. 在 SparkSQL 应用程序中，我们会做很多基于列的操作，比如 df.select($"c1", $"c2")，DataFrame Row 的 schema 不是很静态. 不确定如何为用例注册一个或多个序列化程序类. 例如: c
..
使用 spark-shell 时使用 sparkConf.set(..) 自定义 SparkContext
在 Spark 中，有 3 种主要方法可以为用于创建 SparkContext 的 SparkConf 指定选项: 作为 conf/spark-defaults.conf 中的属性 例如:spark.driver.memory 4g 作为 spark-shell 或 spark-submit 的参数 例如，spark-shell --driver-memory 4g ...
..
在 Apache Flink 中使用 Collections$UnmodifiableCollection
使用 Apache Flink 时的代码如下: DataStream>结果 = source.window(Time.of(1, TimeUnit.SECONDS)).mapWindow(new WindowMapFunction>() {@覆盖public void mapWindow(Iterable iterable, Collector>collector) 抛出异常 {列表top5 =
..
在 twitter chill(Kryo 的 Scala 接口)中处理案例类?
Twitter-chill 看起来是一个很好的解决方案，可以解决如何在 Scala 中有效地序列化而不需要过多的样板. 但是，我没有看到任何关于他们如何处理案例类的证据.这只是自动工作还是需要做一些事情(例如，创建一个零参数构造函数)? 我对内置在 Scoobi 中的 WireFormat 序列化机制有一些经验，这是一个类似于 Scalding 的 Scala Hadoop 包装器.它
..
Kryo 序列化拒绝注册类
我正在尝试使用 kryo 序列化: kryo.setRegistrationRequired(true); 我不断收到以下错误消息，指出某个类未注册: java.lang.IllegalArgumentException:类未注册:com.my.package.MyClass[]注意:要注册这个类使用: kryo.register(com.my.package.MyClass[].class
..
具有全局序列化器(Kryo)的Hazelcast-没有合适的反序列化器
我正在使用Hazelcast 3.9对用户会话进行群集. 要序列化会话对象，我创建了一个用Kryo(或更确切地说是KryoReflectionFactorySupport)实现的全局序列化器，该序列化器无需默认构造函数即可序列化对象. 公共类GlobalKryoSerializer实现StreamSerializer.{//使用ThreadLocal，因为Kryo不是线程
..
在Stormcrawler中向元数据添加一些键时出现java.util.ConcurrentModificationException
我已经在元数据中添加了一个字段，用于传输和保留状态索引.该字段为字符串列表，名称为 input_keywords .在Strom群集中运行拓扑之后，拓扑停止，并显示以下日志: java.lang.RuntimeException:com.esotericsoftware.kryo.KryoException:java.util.ConcurrentModificationException序列
..
即使在conf中注册了类，Kryo序列化也没有注册
我制作了一个Person类并注册了它，但是在运行时，它显示未注册类.为什么显示这样? 线程“主"中的 异常org.apache.spark.SparkException:由于阶段故障，作业中止了:无法序列化任务0，未尝试重试.序列化期间的异常:java.io.IOException:java.lang.IllegalArgumentException:未注册类:KyroExample $ Pe
..
如何在Spark Dataset中存储嵌套的自定义对象?
问题是“>如何在数据集中存储自定义对象的后续措施? 火花版本:3.0.1 可以实现非嵌套的自定义类型: 导入spark.implicits._导入org.apache.spark.sql.{编码器，编码器}类AnObj(val a:Int，val b:String)隐式val myEncoder:Encoder [AnObj] = Encoders.kryo [AnObj]val d
..
如何在Kryo中注册Receiver []?
在将Spark 1.6应用程序移植到Spark 2.0.2的过程中，日志中存在以下投诉: com.esotericsoftware.kryo.KryoException:java.lang.IllegalArgumentException:未注册类:org.apache.spark.streaming.receiver.Receiver []注意:要注册此类，请使用:kryo.register
..
将Spark的Kryo序列化程序与具有字符串数组的Java协议缓冲区一起使用时出错
在将Java协议缓冲区类用作Spark作业中的RDD的对象模型时，我遇到了一个错误， 对于我的应用程序，我的proto文件具有重复字符串的属性.例如 消息本体论人类名称{重复的字符串族= 1;} 由此，2.5.0协议编译器生成如下Java代码 私有com.google.protobuf.LazyStringList family_ = com.google.protobuf.Lazy
..
Java序列化与Kryo序列化的优缺点是什么?
在spark中，java序列化是默认设置，如果kryo效率很高，那么为什么不将其设置为默认设置.使用kryo有什么缺点吗?在什么情况下应该使用kryo或Java序列化? 解决方案 此处是文档: Kryo比Java序列化显着更快，更紧凑(通常多达10倍)，但不支持所有Serializable类型并要求您在以下位置注册要在该计划中使用的课程前进以获得最佳性能. 因此默认情况下不
..
如何在Spark代码中设置Kryo的不可修改集合序列化程序
我在Java的Spark(v1.6.1)中使用Kryo序列化，并且在序列化其字段中具有集合的类时，会引发以下错误- 原因:java.lang.UnsupportedOperationException在java.util.Collections $ UnmodifiableCollection.add(Collections.java:1055)在com.esotericsoftware.kry
..
ProtoBuf字段的Spark，Kryo序列化问题
在转换RDD时，运行与protobuf字段的序列化有关的spark作业时，我看到一个错误. com.esotericsoftware.kryo.KryoException:java.lang.UnsupportedOperationException序列化跟踪:otherAuthors_(com.thomsonreuters.kraken.medusa.dbor.proto.Book $ D
..