StormCrawler 无法连接到 ElasticSearch
运行命令时: storm jar target/crawlIndexer-1.0-SNAPSHOT.jar org.apache.storm.flux.Flux --local es-injector.flux --sleep 86400000 我收到一条错误消息: 8710 [Thread-26-status-executor[4 4]] 错误 c.d.s.e.p.StatusUpdate
..
apache-storm相关内容
Apache Storm:无法加载主类 org.apache.storm.starter.ExclamationTopology
首先我已经提到了很多类似的问题，但仍然无法解决.我已经正确安装了 nimbus 和 supervisor 并且没有错误，而“make install"甚至 maven clean install 和 compile 都没有错误，甚至我的 0qm 是用 jzmq 正确设置的，并且还通过 ./storm nimbus 启动了我的 nimbus 和/storm supervisor 开始了我的主管，但是
..
使用 Storm hdfs 连接器将数据写入 HDFS
可用于将数据写入 HDFS 的“storm-hdfs 连接器"的源代码.github 网址是:https://github.com/ptgoetz/storm-hdfs有一个特殊的拓扑结构:“HdfsFileTopology"用来写'|'分隔数据到 HDFS.链接:https://github.com/ptgoetz/storm-hdfs/blob/master/src/test/java/org
..
Storm 创建拓扑
我正在尝试使用 Eclipse 在 Linux 中运行 Storm starter 示例.我收到以下错误并且 nexttuple 函数从未被调用. 错误: 35979 [main] INFO o.a.s.d.supervisor - 关闭主管 cfba8fc6-81e6-47cb-b8b9-ec7c700f4dfe35981 [NIOServerCxn.Factory:0.0.0.0/0.
..
从源代码构建自定义 Apache Storm rpm?
我正在尝试基于最新的 0.9.x 分支构建 RPM，因为 0.9.6 版本包含一个关键的错误修复，但该版本没有正式发布. 当我构建 RPM 并运行它时，我收到以下消息: storm 客户端只能在一个版本中运行.您似乎正在尝试运行从 Storm 的源代码检出的客户端. 您可以在以下位置下载 Storm 版本http://storm-project.net/downloads.htm
..
在 Nimbus 中提交拓扑时出错
提交拓扑时的错误 java.net.ConnectException:连接被拒绝在 backtype.storm.utils.NimbusClient.(NimbusClient.java:36)在 backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17) 这是我在 nimbus 日志文件中得到的
..
java.lang.NoClassDefFoundError
这里是我编译项目时得到的 通过这个命令 mvn compile exec:java -Dexec.classPathScope=compile -Dexec.mainClass=trident.myproject 得到这个 java.lang.NoClassDefFoundError:storm/trident/state/StateFactory在 java.lang.Class.g
..
Storm中Tuple.getStringByField(“ABC")的用途是什么
我无法理解 Apache Storm 中 Tuple.getStringByField("ABC") 的用法. 代码如下: Public Void 执行(元组输入){尝试{if (input.getSourceStreamId.equals("signals")){str=input.getStringByField("action")如果(“刷新".等于(str)){....}}} .
..
提交后指标、访问和自定义日志文件为空
提交拓扑后，我在 path/of/storm/logs 中发现了一些文件，例如 nimbus、supervisor、ui、drpc、metrics、custom 和 access 但是访问、自定义和指标是空的，我在询问 我如何访问它们 为什么它们是空的 这样做有什么好处 解决方案 access、custom 和 metrics 是不同 Storm 的日志文件特征.例如:ht
..
Maven 构建错误?
写完之后 mvn -f pom.xml compile exec:java -Dexec.classpathScope=Compile-Dexec.main Class=storm.starter.WordCountTopology 发现了这个！！ [INFO] 一个或多个必需的插件参数无效/缺失'执行:java' [0] 在插件 'exec-maven-plugin' 的定义中指
..
用于从 Storm Spout 中读取 Kestrel 服务器队列的 Java 客户端库
我已经设置了 Kestrel 服务器，并且能够通过 python pykestrel 库设置和使用队列. 我们有一个场景，python 客户端写入 Kestrel 队列，而 Storm spout 需要从队列中读取.我试过使用storm-kestrel 库，但遇到了问题.谷歌搜索似乎表明它不支持内存缓存端口 (22133). 我已按照此处的规定添加了 Maven 绑定.没有使用 Kes
..
是否可以在 apache Storm 中在运行时动态添加任务，而不仅仅是重新平衡执行程序
我需要一个我知道(基于文档)尚未实现的 Storm 功能.我需要在运行时添加更多任务而不需要初始大量任务，因为这可能会导致性能问题.因为每个 executor 运行多个任务并不会提高并行度——一个 executor 总是有一个线程用于它的所有任务，这意味着任务在一个 executor 上串行运行. 我知道 rebalance 命令可用于在运行时添加执行程序和工作进程，并且有一条规则是 #ex
..
使用storm在远程集群中运行拓扑时文件创建问题
我创建了一个拓扑，它应该从一个文件中读取并将其写入一个新文件.我的程序在本地集群中正常运行，但在远程集群中提交时，我没有收到任何错误，但没有创建文件.以下是我在远程集群中提交拓扑的代码:- public static void main(String[] args) {最终记录器记录器 = LoggingService.getLogger(FileToFileTopology.class.get
..
如何使我的风暴拓扑实时工作?
我创建了一个简单的程序来读取文件并生成一个文件.它运行良好.我担心如何使它成为实时拓扑.我想如果我修改源文件意味着添加了一个新记录，它应该进来我的目标文件如何在不将拓扑重新部署到集群上的情况下执行此操作.我还需要配置什么才能实现此行为.以下是本地提交拓扑的代码:- Config conf= new Config();conf.setDebug(false);conf.put(Config.TOP
..
安装 Storm 时未设置 JAVA_HOME
我想在我自己的机器(Ubuntu 12.04 LTS)上安装 Storm，我按照 中的说明进行操作 https://github.com/nathanmarz/storm/wiki/Installing-native-dependencies. 当我安装jzmq时，我首先成功执行了命令 sudo ./autogen.sh 但是，当我执行 sudo ./configure 配置错
..
什么可以用作 CassandraWriterBolt 的测试存根?
我从 Kafka 读取了一个 json，FieldExtractionBolt 读取该 json 将数据提取为元组值并将它们传递给 CassandraWriterBolt，后者又在 Cassandra 中写入一条记录，将所有这些元组值写入单独的列中. Kafka 上的 JSON 消息 - {"pair":"GBPJPY","bid":134.4563,"ask":134.4354} Fi
..
如何通过以编程方式插入消息来 E2E 测试 Storm Topology 的功能
我们的 Apache Storm 拓扑使用 KafkaSpout 侦听来自 Kafka 的消息，并在做了大量映射/减少/丰富/聚合等之后最终将数据插入到 Cassandra 中.还有另一个 kafka 输入，如果拓扑找到响应，我们将接收用户对数据的查询，然后将其发送到第三个 kafka 主题.现在我们想使用 Junit 编写 E2E 测试，其中我们可以直接以编程方式将数据插入到拓扑中，然后通过插入
..
Storm 2.0 工作程序在启动时失败并出现异常，而没有 Storm-kafka 对 pom 的依赖
根据storm 2.0 发布文档，storm-kafka 被删除，用户必须转移到storm-kafka-client. 所以，我从 pom.xml 中删除了 Storm-kafka 依赖.我们已经对 pom 有了 Storm-kafka-client 依赖.构建成功. 但是当使用 storm jar CLI 命令启动拓扑风暴时，我们收到以下异常.我还可以在storm lib文件夹中看到
..
Storm 1.2.2 Supervisor 也将 localhost 作为 nimbus 并且无法连接到它，尽管 nimbus 在另一个服务器中并且已经在 Storm.yaml 中指定
问题和标题一样，集群启动后管理日志中没有打印错误.每次提交jar时，在supervisors的日志中都会报连接localhost nimbus失败的错误. 1，这是我的 yaml: storm.zookeeper.servers:- “beta-hbase02"- “beta-hbase03"- “beta-hbase04"Storm.zookeeper.root: "/storm"nib
..
从开始设置风暴拓扑的日志级别
在初始化期间，我的 Storm 拓扑中出现了一个错误.我想从拓扑启动时将日志级别设置为DEBUG. 我意识到有一种机制可以使用 Storm UI 或 CLI 为正在运行的拓扑动态设置日志级别，但我无法在初始化期间拓扑中出现错误之前动态更改此设置. 如何将日志级别静态设置为 DEBUG，以便在拓扑初始化时查看更详细的日志? 解决方案 以下仅适用于 Storm 2.0.0 及更高版
..