如果我给Flink的RocksDB状态后端足够的内存，这与基于堆的状态后端有什么不同？ [英] If I give Flink's RocksDB state backend enough memory, how does that differ from the heap-based state backend?

问题描述

EmbeddedRocksDBStateBackend与Flink配合使用的一个明显优点是，当内存不足时，它可能会溢出到磁盘。但是，如果我准备给它足够的内存，使它永远不需要使用磁盘，这与使用HashMapStateBackend有什么不同？

推荐答案

主要区别如下：

• RocksDB状态后端维护状态的序列化格式的开销(通常)比堆上使用的二进制对象格式少得多。因此，对于给定的内存量，RocksDB可以容纳更多状态。
• RocksDB中服务/De开销意味着后端的吞吐量(平均)要小得多。
• RocksDB后端在堆外内存中维护其状态，而保留在堆上的状态会受到GC开销和暂停的影响。因此，RocksDB在最坏情况下的延迟可能会更好。(一旦Flink支持Java 17及其现代垃圾收集器，这个因素就可能消失。)
• RocksDB后端支持增量检查点，可以显著加快快照和还原速度(但请参阅FLIP-151)。

FWIW，某些用户选择使用配置为使用RAM磁盘作为本地磁盘的RocksDB进行部署。

这篇关于如果我给Flink的RocksDB状态后端足够的内存，这与基于堆的状态后端有什么不同？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！