apache-storm相关内容

令人困惑的 Storm-UI

我对 Storm-UI 统计数据感到困惑. 例如: 拓扑统计显示数量为 6900 万 kafka-spout 显示数量为 3400 万 __acker 为 1700 万 es-bolt 也显示 1700 万 我的拓扑是 kafka-spout --> es-bolt，我不确定上面的数字是如何加起来的? 如果 Kafka-spout 只发出 3400 万，为 ..
发布时间：2021-11-14 23:37:29 其他开发

没有 ZeroMQ/JZMQ 的 Apache Storm 安装

我正在尝试设置多集群风暴系统.我已经找到了几个关于此的第 3 方分步指南.它们都有 Java、Python、ZeroMQ 2.1.7 和 JZMQ 作为 Nimbus 和 Supervisor/Slave 节点的要求.但是在 Apache Storm 官方网站上，Nimbus 和 Supervisor 节点的唯一要求是 Java 6 和 Python 2.6.6 (https://storm.ap ..
发布时间：2021-11-14 23:37:26 其他开发

工作日志中的连接被拒绝错误 - apachestorm

我在工作日志中看到以下错误，它几乎每毫秒发生一次，但集群运行良好，我想知道这些错误是什么意思以及为什么会发生这种情况的任何想法. 这发生在所有工作节点上 2016-05-12T15:32:53.514-0500 bsmnClient [ERROR] 到 Netty-Client-xxxxx.hq.abc.com/xx.xx.xxx.xx:6700 的连接尝试 3 失败:java.net ..
发布时间：2021-11-14 23:37:17 其他开发

在 Storm TrackedTopology 单元测试中运行 Trident 拓扑

如何运行 Trident 拓扑的 JUnit 测试以允许元组在每个阶段测试和验证输出时流过拓扑?我曾尝试在 Storm 的测试框架内运行，但它无法验证和一致执行 Trident. 这是一个示例拓扑，其中包含一些我遇到最多问题的内嵌注释. import static org.junit.Assert.assertEquals;导入 java.util.Arrays;导入 java.util. ..
发布时间：2021-11-14 23:37:14 Java开发

Storm - 有条件地消耗来自 kafka 喷口的流?

我有一个场景，我将 json 发布到 Kafka 实例.然后我使用 Kafka Spout 将流发送到 Bolt. 但现在我想在我的 json 消息中添加额外的字段(称为 x).如果 x 是 a 我希望它被 boltA 使用，如果 x 是 b 我希望它被boltB消耗. 有没有办法根据流的内容将流引导到正确的螺栓? 解决方案 最简单的方法应该是添加一个 SplitBolt ，它 ..
发布时间：2021-11-14 23:37:11 其他开发

风暴集群重复元组

目前我正在做一个项目，我在四个 Unix 主机上设置了一个 Storm 集群. 拓扑本身如下: JMS Spout 侦听 MQ 以获取新消息 JMS Spout 解析并将结果发送到 Esper Bolt Esper Bolt 然后处理事件并将结果发送到 JMS Bolt 然后 JMS Bolt 将消息发布回 MQ 上的不同主题 我意识到 Storm 是一个“至少一次"的框架 ..
发布时间：2021-11-14 23:37:08 Java开发

Kafka Storm HDFS/S3 数据流

目前还不清楚您是否可以像在 Flume 中那样在 Kafka 中进行扇出(复制). 我想让 Kafka 将数据保存到 HDFS 或 S3，并将该数据的副本发送到 Storm 进行实时处理.Storm 聚合/分析的输出将存储在 Cassandra 中.我看到一些实现将所有数据从 Kafka 流入 Storm，然后从 Storm 流出两个输出.但是，我想消除 Storm 对原始数据存储的依赖. ..
发布时间：2021-11-14 23:37:05 其他开发

风暴拓扑未提交

我已经配置了我的机器 zookeeper、nimbus、supervisor 运行正常并且我的拓扑在 LocalCluster 中工作 LocalCluster cluster = new LocalCluster();cluster.submitTopology("SendPost", conf, builder.createTopology());Utils.sleep(1000000000 ..
发布时间：2021-11-14 23:36:59 Java开发

Storm动态拓扑

Storm 是否支持动态拓扑?我想要的功能是在 Storm 拓扑运行时根据用户要求动态更改拓扑.例如，当用户想知道流的前 10 个单词时，我使用前 10 个 bolt 来处理它，当用户想知道其他东西时，我使用另一个 bolt 来处理流并“拔出"前 10 名螺栓. 我知道这可以通过对流进行分区或复制流并始终运行每个功能并仅演示我们想要的数据来完成，或者我们可以关闭流并更新另一个拓扑，但是是否有 ..
发布时间：2021-11-14 23:36:56 其他开发

一个storm程序的执行流程

我是 Storm 的新手，试图了解从 spout 到 bolt 的不同方法的执行流程.就像 spout 有不同的方法，比如 nextTuple() 打开() declareOutputFields() 激活() 停用() 和 bolt 有类似 的方法 准备() 执行() 清理() declareOutputFields() 那么谁能告 ..
发布时间：2021-11-14 23:36:50 其他开发

在kafka-storm中无法将偏移数据写入zookeeper

我正在设置一个风暴集群来计算实时趋势和其他统计数据，但是我在将“恢复"功能引入该项目时遇到了一些问题，因为它允许 kafka-spout 最后读取的偏移量(kafka-spout 的源代码来自https://github.com/apache/incubator-storm/tree/master/external/storm-kafka)被记住.我以这种方式启动我的 kafka-spout: ..
发布时间：2021-11-14 23:36:47 其他开发

Storm - 主管在重启时崩溃

这是一个让我发疯的问题.我的本地 LAN 上运行着一台机器 Storm 实例.我目前正在运行 v0.9.1-incubating 发布版本(来自 Apache Incubator 站点.问题只是我的 storm supervisor 进程拒绝启动 EVERY SINGLE 重启后.hack 修复非常简单，从storm本地目录中删除supervisor 和workers 文件夹并重新运行该过程; 事 ..
发布时间：2021-11-14 23:36:44 其他开发

在Kafka和storm的背景下如何实现多租户?

在 Kafka 和 Storm 的上下文中构建多租户应用程序的最佳实践是什么? 例如:为每个租户创建主题并使用多主题 spout(使用通配符). 解决方案 我认为每个租户的主题都是正确的选择. 命名约定可能是这样的:topic_base_name_tenant_id. 原因是: 它允许为每个租户灵活配置(如前面提到的@Sebastian). 更清晰的逻辑分离. ..
发布时间：2021-11-14 23:36:41 Java开发

找不到风暴日志查看器页面

我能够在多租户集群中提交拓扑作业.作业正在运行.但是，日志查看器页面不可用.有什么办法可以解决这个问题吗? 解决方案 你需要先启动logviewer，然后点击topology port来查看logviewer.要启动 logviewer 运行:$storm logviewer 和你运行 $storm list 一样 ..
发布时间：2021-11-14 23:36:38 其他开发