apache-storm相关内容

将Spring Boot Uber JAR打包类设置为根目录,而不是启动-INF/CLASS

嗨,春靴专家- 我正在尝试创建一个Spring Boot Uber JAR,该JAR需要部署到一个阿帕奇风暴集群。但是,问题是Storm预期所有类文件都在JAR的根目录中,而打包的应用程序文件在使用“Spring-ot-maven-plugin”打包时位于“boot-INF/Class”下。 有没有办法让我的应用程序类直接打包到根目录下,而不是“Boot-INF/CLASSES”? ..

Stormconf.ser 不存在工人错误

我有一个包含 2 个节点和 1 个 ZooKeeper 的 Storm 集群.由于以下错误,其中一名工人死亡.有没有人知道为什么 stormconf.ser 文件被删除了? 我使用的是 0.9.2 Storm 和 3.4.6 ZK 版本. o.a.c.f.s.ConnectionStateManager [INFO] 状态更改:已连接2015-01-31 01:23:06 o.a.c.f. ..
发布时间:2021-11-15 00:06:50 其他开发

Storm拓扑部署超时

我正在尝试在我的 Macbook Pro 上设置 Apache Storm (1.0.2),但如果我尝试部署拓扑,显然会遇到超时问题.用户界面也挂了,吐出同样的异常. 3491 [main] INFO o.a.s.StormSubmitter - 为 MD5-digest 生成的 ZooKeeper 秘密负载:-8915636774701640550:-651075265796178588635 ..
发布时间:2021-11-15 00:06:18 其他开发

如何重置 Kafka 偏移量以匹配尾部位置?

我们将 Storm 与 Kafka 和 ZooKeeper 一起使用.我们遇到过必须删除一些主题并使用不同名称重新创建它们的情况.除了现在读取新主题名称之外,我们的 Kafka 喷口保持不变.但是现在,当尝试从新主题读取时,spout 正在使用旧主题分区的偏移量.因此,my-topic-name 分区 0 的尾部位置将为 500,但偏移量将类似于 10000. 有没有办法重置偏移位置,使其与 ..
发布时间:2021-11-15 00:04:16 Java开发

动物园管理员和错误风暴

我正在为 Storm 开发代码,这是开发人员的一个例子.我的问题是,当您从 IDE Eclipse 运行此代码时,没有建立 Storm 和 Zookeeper 之间的连接.Zookeeper运行在2181,也是设置在storm.yaml中. 我的例外是: 72992 [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2000] WARN o.a.s.s.o.a.z ..
发布时间:2021-11-15 00:03:35 其他开发

在kafka-storm中无法将偏移数据写入zookeeper

我正在设置一个风暴集群来计算实时趋势和其他统计数据,但是我在将“恢复"功能引入该项目时遇到了一些问题,因为它允许 kafka-spout 最后读取的偏移量(kafka-spout 的源代码来自https://github.com/apache/incubator-storm/tree/master/external/storm-kafka)被记住.我以这种方式启动我的 kafka-spout: ..
发布时间:2021-11-15 00:00:47 其他开发

提交拓扑后异常

我是 Storm 新手,尝试提交拓扑并发现了这个在主管 我在工人的日志文件中发现了这个 [ERROR] 异步循环死了!java.lang.RuntimeException: org.apache.thrift7.transport.TTransportException: java.net.ConnectException: 连接被拒绝在 backtype.storm.drpc.DRPCInv ..
发布时间:2021-11-14 23:54:56 其他开发

是否有任何 Java API 可以知道拓扑何时准备好从 Spout 读取第一条消息

我们的 Apache Storm 拓扑使用 KafkaSpout 侦听来自 Kafka 的消息,并在做了大量映射/减少/丰富/聚合等之后最终将数据插入到 Cassandra 中.还有另一个 kafka 输入,如果拓扑找到响应,我们将接收用户对数据的查询,然后将其发送到第三个 kafka 主题.现在我们想使用 Junit 编写 E2E 测试,其中我们可以直接以编程方式将数据插入到拓扑中,然后通过插入 ..
发布时间:2021-11-14 23:43:17 其他开发

Storm 创建拓扑

我正在尝试使用 Eclipse 在 Linux 中运行 Storm starter 示例.我收到以下错误并且 nexttuple 函数从未被调用. 错误: 35979 [main] INFO o.a.s.d.supervisor - 关闭主管 cfba8fc6-81e6-47cb-b8b9-ec7c700f4dfe35981 [NIOServerCxn.Factory:0.0.0.0/0. ..
发布时间:2021-11-14 23:43:14 其他开发

从 spout 中杀死风暴拓扑

我们有一个用例,我们不想连续运行风暴拓扑.相反,有一组输入(10K+)应该在指定的时间处理,Spout 不断地发出这些输入并由拓扑中的其余螺栓处理.处理完所有输入后,我的 spout 中的 nextTuple 将没有任何内容可发出. 此时我们希望我们的拓扑在每天晚上 12:00 进入睡眠状态并重新启动进程. 风暴配置中是否有任何属性可以设置为每天运行一次拓扑并在处理完成后休眠并在指定时 ..
发布时间:2021-11-14 23:43:08 其他开发

从 spout 中杀死风暴拓扑

我们有一个用例,我们不想连续运行风暴拓扑.相反,有一组输入(10K+)应该在指定的时间处理,Spout 不断地发出这些输入并由拓扑中的其余螺栓处理.处理完所有输入后,我的 spout 中的 nextTuple 将没有任何内容可发出. 此时我们希望我们的拓扑在每天晚上 12:00 进入睡眠状态并重新启动进程. 风暴配置中是否有任何属性可以设置为每天运行一次拓扑并在处理完成后休眠并在指定时 ..
发布时间:2021-11-14 23:43:05 其他开发