hazelcast-jet相关内容

Hazelcast喷气变化数据捕获

我正在我的应用程序中使用Hazelcast变更数据捕获(CDC)。 (我之所以使用CDC,是因为如果使用JDBC或其他替代功能将数据加载到缓存中,则需要花费大量时间) 因此CDC将在数据库和Hazelcast Jet之间进行数据同步。 StreamSource source = PostgresCdcSources.postgres("sour ..
发布时间:2022-06-19 12:01:34 Java开发

Hazelcast Jet和Node.JS客户端序列化问题

我将Jet 0.6作为备份,并安装了hazelcast-nodejs-client 0.8.0的一些Node.JS进程.我试图推动从Node进程映射对象,这恰好反映了Jet端类似对象的反映.但是我不明白如何在Jet方面确保此JS对象将分别进行序列化/反序列化.我有一种感觉,我需要向Jet表示,这个JSON对象是Data POJO,应该使用适当的序列化/反序列化. 在节点侧: var数据= ..
发布时间:2021-05-13 20:50:20 其他开发

创建一个新的Jet自定义分区程序

我的用例要求从Kafka主题中读取消息,并按照发布到Kafka中的自然顺序处理消息. Kafka生产者负责发布按单个kafka主题分区排序的每组消息,而我需要以相同的顺序在同一Vertex-Processor中处理每组消息. 上面的图像代表了基本思想.有一些从Kafka读取的KafkaSource-Processors. 并且一条边连接到顶点以解码kafka消息等. 我可以 ..
发布时间:2020-11-22 18:58:38 Java开发

分发处理时通常有多少开销?

对于不耐烦的读者:这是一个进行中的工作,我要求 在此过程中提供帮助.请不要由我来判断工具 临时数据,因为它们在我尝试获得更好结果时可能会发生变化. 我们正处于架构决策过程的中间,该工具可以分析协同仿真的输出. 作为该过程的一部分,我被要求编写一个基准测试工具,并获取有关多个分布式处理框架速度的数据. 我测试的框架是:Apache Spark,Apache Flink,Hazelc ..
发布时间:2020-09-03 07:14:28 Java开发

hazelcast-jet部署和数据摄取

我有一个在AWS EC2实例上运行的分布式系统。我的集群有大约2000个节点。我想介绍一种流处理模型,该模型可以处理每个节点定期发布的元数据(CPU使用率,内存使用率,IO等)。我的系统只关心最新数据。当处理模型关闭时,丢失几个数据点也是可以的。因此,我选择了hazelcast-jet,它是一种具有出色性能的内存处理模型。在这里,我对模型有一些疑问: 将hazelcast-jet部署到多个e ..
发布时间:2020-06-04 01:00:02 其他开发