apache-storm相关内容

如何以编程方式杀死风暴拓扑?

我正在使用java类向Storm集群提交拓扑,我还计划使用java类来终止拓扑。但是根据风暴文档,以下命令用于终止拓扑并且没有Java方法(这有正当理由) storm kill {stormname} 那么从java类调用shell脚本来终止拓扑是没关系的吗?什么是杀死拓扑的其他方法? 此外,如何获得在风暴群集中运行拓扑的状态? 解决方案 对于查杀拓扑, ..
发布时间:2018-12-07 12:02:21 Java开发

Kafka Storm HDFS / S3数据流

目前还不清楚你是否可以像在Flume中那样在卡夫卡做粉丝(复制)。 我想让Kafka将数据保存到HDFS或S3中,并将该数据的副本发送给Storm以进行实时处理。 Storm聚合/分析的输出将存储在Cassandra中。我看到一些实现将来自Kafka的所有数据流入Storm,然后从Storm中输出两个输出。但是,我想消除Storm对原始数据存储的依赖性。 这可能吗?您是否知道这样的文档 ..
发布时间:2018-06-06 11:09:57 其他开发

从风暴中插入行到HBase中

我希望能够从分布式(非本地)Storm拓扑中将新条目写入HBase。有几个GitHub项目提供 HBase Mappers 或预制风暴螺栓将Tuples写入HBase。这些项目提供了在LocalCluster上执行他们的示例的指示。 这两个项目都遇到了问题,并且直接从bolt中访问HBase API,它们都需要将HBase-site.xml文件包含在类路径中。使用直接API方法,也可能使用G ..
发布时间:2018-06-05 13:21:17 Java开发

将数据从oracle移动到HDFS,处理并从HDFS移动到Teradata

我的要求是 将数据从Oracle移动到HDFS 在HDFS上处理数据 将处理过的数据移动到Teradata。 还需要每15分钟完成一次这个处理。源数据量可能接近50 GB,并且处理后的数据也可能相同。 在互联网上搜索了很多内容之后,我发现 ORAOOP将数据从Oracle移动到HDFS(让代码使用shell脚本并将其安排在所需的 通过Custom MapReduce或 ..
发布时间:2018-05-31 19:15:20 数据库

Apache Storm与Hadoop相比

Storm与Hadoop相比如何? Hadoop似乎是开源大规模批处理的事实标准,Storm与hadoop相比有什么优势吗?或者他们完全不同? 解决方案 你为什么不告诉你的意见。 http://www.infoq.com/news/2011/09/twitter-storm-real-time-hadoop/ ..
发布时间:2018-05-31 19:03:46 分布式计算/Hadoop

测试java HBase连接

我正在尝试使用HBase Java API将数据写入HBase。我通过Ambari安装了Hadoop / HBase。 以下是配置目前的设置: final Configuration CONFIGURATION = HBaseConfiguration.create(); final HBaseAdmin HBASE_ADMIN; HBASE_ADMIN = new HB ..
发布时间:2018-05-31 18:49:48 Java开发

仅在Gradle项目中编译Storm风格的JAR

我正在尝试构建一个包含Storm项目的Gradle项目。为了在Storm上运行这个项目,我必须先创建一个JAR文件,让Storm运行我的拓扑结构,例如 jar myJarFile.jar com.mypackage.MyStormMainClass 我遇到问题了,因为默认情况下,Gradle是包括编译时和运行时的Storm依赖关系。这会导致以下异常: 线程“main”中的异常java. ..
发布时间:2018-05-17 19:21:53 其他开发

如何为Apache Storm工作人员启用GC日志记录,同时防止日志文件覆盖并限制磁盘空间使用量

最近我们决定为许多集群上的Apache Storm工作人员启用GC日志记录(确切版本各不相同),以帮助查看与拓扑相关的内存和垃圾回收问题。我们希望为工作人员做到这一点,但我们也希望避免我们知道可能发生的两个问题: 覆盖日志文件时工作负载因任何原因重新启动 日志使用的磁盘空间太多,导致磁盘空间不足(如果让群集运行时间足够长,日志文件将填满磁盘,除非被管理) li> 当某个进程启动Jav ..
发布时间:2018-04-19 18:37:49 其他开发

如何在本地使用Eclipse实现风暴项目中的日志更改

我不知道如何使用Eclipse实现对本地风暴项目的更改。通过修改 ./ logback / clusters.xml 文件(例如从 INFO 到 ERROR )。 我该怎么办? 解决方案 我不知道我是否正确理解。 “地方风暴项目”是什么意思?你使用LocalCluster执行吗?在这种情况下,您需要创建一个文件“logback.xml”,并将记录器配置放在那里。 logback.xm ..
发布时间:2017-07-30 20:10:21 Java开发

将项目导入另一个导入的项目

我在一个项目的帮助下发现这个声明,我想导入名为“storm- election”的项目 这是一个简单的演示应用程序基于风暴启动项目。 https://github.com/nathanmarz/storm-starter 。 所以,我成功导入了风暴启动项目。如何导入风暴选举项目? 我可以在另一个导入项目上导入项目吗? 解决方案 您不能在任何项目下创建一个项目,就像在文件 ..
发布时间:2017-07-28 20:47:06 Java开发

设置码头/无孔Mesos环境

我正在设法建立一个docker / fig Mesos集群。 我是新来的无花果和Docker。 Docker有大量的文档,但是我发现自己很难理解如何使用图。 这是我的fig.yaml: zookeeper: image:jplock / zookeeper ports: - “49181:2181” mesosMaster: image:mesosphere / m ..
发布时间:2017-06-10 19:38:26 Linux/Unix

如何在Eclipse中调试Apache Storm?

我们可以使用特定的参数生成风暴罐。但是,如果我们需要在本地和远程调试这个项目(实际上是远)? 如果是简单的jar,那我们可以调试。但是,这里我们使用以下命令部署jar: storm jar project.jar main_class_name 不知道我们如何可以部署风暴拓扑,所以我们可以在调试模式下做风暴项目? 请找到更新的yaml文件如下: #在一个 #或更多 ..
发布时间:2017-04-17 21:55:50 开发方法

如何快速增加计数器Cassandra w / o陈旧

我有一个Cassandra问题。你知道Cassandra如何更新/增加计数器吗? 我想使用暴风雨(CassandraCounterBatchingBolt from storm-contrib repo on github)写入cassandra。但是,我不知道incrementCounterColumn()方法的一些实现是如何工作的..还有cassandra计数器的限制(从: http:/ ..
发布时间:2016-11-13 13:56:04 其他开发