Kafka流：Lib RocksDB上未满足的链接错误
我正在尝试Kafka Streams的字数统计问题。我正在使用带有Scala版本2.11.12和SBT版本1.1.4的Kafka 1.1.0。我收到以下错误： Exception in thread "wordcount-application-d81ee069-9307-46f1-8e71-c9f777d2db64-StreamThread-1" java.lang.Unsatisfied
..
rocksdb相关内容
Kafka kstream-kstream加入了滑动窗口，内存使用量随着时间的推移不断增长，直到OOM
我在使用kstream联接时遇到问题。我所做的是从一个主题中将3种不同类型的消息分离到新的流中。 然后与创建另一个流的两个流进行一次内部联接，最后我与新流和最后一个剩余的流进行最后一次左联接。 联接的窗口时间为30秒。 这样做是为了筛选出某些被其他邮件覆盖的邮件。 我在Kubernetes上运行此应用程序，Pod的磁盘空间一直在无限增长，直到Pod崩溃。 我已经意识到这是因
..
在Flink 1.13中配置RocksDB
我读过有关Flink 1.13版本中EmbeddedRocksDBStateBackend的内容，但有大小限制，因此我希望保留以前Flink版本1.11的当前配置，但重点是这种配置RocksDB的方式已被弃用(new RocksDBStateBackend("path", true);)。 我已使用EmbeddedRocksDBStateBackend (new EmbeddedRocksD
..
错误“MD5_CONTEXT 类型不完整"；使用 MariaDB 10.2 和 Openssl 1.1.0e
我无法在 CentOS 7 中构建启用 RocksDB 的 MariaDB 10.2. 编译错误如下: /root/mariadb-10.2/mysys_ssl/my_md5.cc: 在函数 'void md5_result(MD5_CONTEXT*, uchar*)':/root/mariadb-10.2/mysys_ssl/my_md5.cc:86:29:错误:“EVP_MD_CTX_
..
Kafka Streams - 低级处理器 API - RocksDB TimeToLive(TTL)
我正在尝试使用低级处理器 API.我正在使用处理器 API 对传入记录进行数据聚合，并将聚合记录写入 RocksDB. 但是，我想保留在rocksdb中添加的记录仅在24小时内处于活动状态.24 小时后应删除该记录.这可以通过更改 ttl 设置来完成.但是，没有太多文档可以帮助我解决这个问题. 如何更改 ttl 值?我应该使用什么 java api 将 ttl 时间设置为 24 小时，
..
RocksDb sst 文件的 GUI 查看器
我正在使用 Kafka 将数据保存到 RocksDB. 现在我想看看 Kafka 创建的数据库键和值.我下载了 FastNoSQL 并尝试过但失败了. 文件夹包含: .sst 文件 .log 文件 当前文件 身份文件 锁定文件 日志文件 清单文件 选项文件 如何查看值? 解决方案 Keylord(5.0 版以后)可以打开RocksDB 数据库.例如这里
..
Kafka Streams:如何使用persistentKeyValueStore 从磁盘重新加载现有消息?
我的代码当前使用的是 InMemoryKeyValueStore，它避免了对磁盘或 kafka 的任何持久性.我想使用rocksdb(Stores.persistentKeyValueStore)，以便应用程序从磁盘重新加载状态.我正在尝试实现这一点，而且我对 Kafka 和流 API 非常陌生.非常感谢有关我如何进行更改的帮助，同时我仍然尝试在进行过程中理解内容. 我试图在这里创建状态存储
..
Kafka Streams 限制堆外内存
我们正在运行 kafka 流应用程序，并且频率遇到了堆外内存问题.我们的应用程序已部署并在 kubernetes POD 中不断重启. 我正在做一些调查，发现我们可以通过实现 RocksDBConfigSetter 来限制堆外内存，如下例所示. public static class BoundedMemoryRocksDBConfig 实现 RocksDBConfigSetter {//
..
使用 Kafka Streams 开发时，Lib 上的 UnsatisfiedLinkError 会影响 DB dll
我正在我的 Windows 开发机器上编写 Kafka Streams 应用程序.如果我尝试使用 Kafka Streams 的 leftJoin 和 branch 功能，我在执行 jar 应用程序时会收到以下错误: 线程“StreamThread-1"中的异常java.lang.UnsatisfiedLinkError:C:\Users\user\AppData\Local\Temp\libr
..
Kafka Streams - 低级处理器 API - RocksDB TimeToLive(TTL)
我正在尝试使用低级处理器 API.我正在使用处理器 API 对传入记录进行数据聚合，并将聚合记录写入 RocksDB. 但是，我想保留在rocksdb中添加的记录仅在24小时内处于活动状态.24 小时后应删除该记录.这可以通过更改 ttl 设置来完成.但是，没有太多文档可以帮助我解决这个问题. 如何更改 ttl 值?我应该使用什么 java api 将 ttl 时间设置为 24 小时，
..
RocksDb sst 文件的 GUI 查看器
我正在使用 Kafka 将数据保存到 RocksDB. 现在我想看看 Kafka 创建的数据库键和值.我下载了 FastNoSQL 并尝试过但失败了. 文件夹包含: .sst 文件 .log 文件 当前文件 身份文件 锁定文件 日志文件 清单文件 选项文件 如何查看值? 解决方案 Keylord(5.0 版以后)可以打开RocksDB 数据库.例如这里
..
Kafka Streams 限制堆外内存
我们正在运行 kafka 流应用程序，并且频率遇到了堆外内存问题.我们的应用程序已部署并在 kubernetes POD 中不断重启. 我正在做一些调查，发现我们可以通过实现 RocksDBConfigSetter 来限制堆外内存，如下例所示. public static class BoundedMemoryRocksDBConfig 实现 RocksDBConfigSetter {//
..
使用 Kafka Streams 开发时，Lib 上的 UnsatisfiedLinkError 会影响 DB dll
我正在我的 Windows 开发机器上编写 Kafka Streams 应用程序.如果我尝试使用 Kafka Streams 的 leftJoin 和 branch 功能，我在执行 jar 应用程序时会收到以下错误: 线程“StreamThread-1"中的异常java.lang.UnsatisfiedLinkError:C:\Users\user\AppData\Local\Temp\libr
..
Apache flink:从 RocksDB 后端的保存点延迟加载
我们希望使用带有 RocksDB 后端 (HDFS) 的 Apache Flink 进行有状态的流处理.但是，我们的应用程序状态(键控状态)将以 TB 级为单位. 据我所知，当我们从保存点恢复作业时，所有操作员状态数据将从 HDFS 上的保存点位置传送到每个任务管理器.如果状态是TB级的，那么每次部署都会导致很长的停机时间，如果所有这些状态都需要转移. 我想了解，如果在 RocksDB
..
Apache flink:从 RocksDB 后端的保存点延迟加载
我们希望使用带有 RocksDB 后端 (HDFS) 的 Apache Flink 进行有状态的流处理.但是，我们的应用程序状态(键控状态)将以 TB 级为单位. 据我所知，当我们从保存点恢复作业时，所有操作员状态数据将从 HDFS 上的保存点位置传送到每个任务管理器.如果状态是TB级的，那么每次部署都会导致很长的停机时间，如果所有这些状态都需要转移. 我想了解，如果在 RocksDB
..
Flink 中的 RocksDBStateBackend:它究竟是如何工作的?
我已经阅读了 Flink 关于状态后端的官方文档，此处.我特别对 RocksDBStateBackend 感兴趣. 我不明白，如果我启用这种后端，TaskManagers 将可以通过 Flink 集群中的另一个节点访问 RocksDB? 到目前为止我对 RocksDBStateBackend 的理解是任务管理器将状态存储在它们的内存中，即 JVM 进程的内存中.之后，他们会将状态发送到
..
Apache Flink 检查点卡住
我们正在运行一个 ListState 介于 300GB 和 400GB 之间的作业，并且有时列表可以增长到几千个.在我们的用例中，每个项目都必须有自己的 TTL，因此我们为这个 ListState 的每个新项目创建一个新的 Timer，并在 S3 上使用 RocksDB 后端. 目前大约有 140 多个计时器(将在 event.timestamp + 40 天触发). 我们的问题是，作
..
我可以在本地文件系统中使用 flink RocksDB 状态后端吗?
我正在探索使用 Flink RockDb 状态后端，文档似乎暗示我可以使用常规文件系统，例如:file:///data/flink/checkpoints，但代码仅 javadoc在这里提到了 hdfs 或 s3 选项. 我想知道是否可以将本地文件系统与 flink Rocksdb 后端一起使用，谢谢！ Flink 文档:https://ci.apache.org/projects/f
..
如何在 Apache Flink 中将检查点存储到远程 RocksDB
我知道Apache Flink中有3种状态后端:MemoryStateBackend、FsStateBackend和RocksDBStateBackend. MemoryStateBackend 将检查点存储到本地 RAM，FsStateBackend 将检查点存储到本地 FileSystem，RocksDBStateBackend 将检查点存储到 RocksDB.我有一些关于 RocksD
..
EMR 上 S3 的外部检查点
我正在尝试为我的 Flink 程序部署一个生产集群.我正在使用安装了 Flink 1.3.2 的标准 hadoop-core EMR 集群，并使用 YARN 来运行它. 我正在尝试配置我的 RocksDB 以将我的检查点写入 S3 存储桶.我正在尝试阅读这些文档:https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup
..