流数据处理和纳秒时间分辨率
我刚刚开始讨论实时流数据处理框架的话题，我有一个问题，目前我还没有找到任何决定性的答案: 通常的怀疑对象(Apache 的 Spark、Kafka、Storm、Flink 等)是否支持以 纳秒(甚至皮秒)的事件时间分辨率处理数据? 大多数人和文档都谈论毫秒或微秒分辨率，但我无法找到明确的答案，如果可能有更多分辨率或问题.我推断唯一具有此功能的框架是 influxData 的 Kapac
..
apache-storm相关内容
Storm acker和保证消息处理的混淆
现在正在学习Storm的保证消息处理，对这部分的一些概念感到困惑. 为了保证一个 spout 发出的消息被完全处理，Storm 使用 acker 来实现这一点.每次 spout 发出一个元组时，acker 都会分配初始化为 0 的“ack val"来存储元组树的状态.每次此元组的下游螺栓发出新元组或确认“旧"元组时，元组 ID 将与“ack val"异或.acker 只需要检查“ack va
..
管理员模式下的Kafka
我正在尝试在监督模式下运行 kafka，以便它可以在关机时自动启动.但是所有运行 kafka 的示例都使用 shell 脚本，并且 supervisord 无法记录要监控的 PID.任何人都可以建议如何完成 kafka 的自动重启? 解决方案 如果您使用的是 Unix 或 Linux 机器，那么这就是 /etc/inittab 派上用场的时候.或者您可能想要使用 daemontools.不
..
Storm UI 抛出“旧版本不支持 kafka 的偏移滞后".请将 kafka spout 更新到最新版本."
我已将我的 hdp 集群升级到 2.5，并将 Storm-core 的拓扑依赖关系升级到 1.0.1，将 Storm-kafka 的拓扑依赖关系升级到 1.0.1.使用新的 1.0.1 依赖项部署新拓扑后，一切都在后端按预期工作，但 Storm UI 并不总是显示“Acked"、“Emitted"、“Transferred"等为零. Storm UI 显示消息“旧版本不支持 kafka 的偏
..
风暴工人没有开始
我的 Nimbus 主机和主管运行正常.当我向 Nimbus 主机提交 wordcount 拓扑时，它成功上传.上传拓扑管理器后报错 kill:没有这个进程 当我检查 worker-6001.log 和 6002.log 时，我发现了以下错误: 2014-02-09 17:20:05 b.s.m.TransportFactory [INFO] Storm peer 传输插件:backtype
..
如何查看storm中的输入输出
我已经安装了 Apache Storm 并执行了示例 字数统计拓扑.但是没有显示输入或输出.我怎么能看到它? 解决方案 基本理解 手册是必读的，尤其是概念 部分将帮助您获得基本的了解. 您不仅应该安装用于字数统计的示例拓扑，还应该阅读附录 tutorial. 输入/输出 最后一个螺栓应该将输出运送到目的地.这可能是一个数据库、服务、...... 您可以像在任何其他 J
..
Apache Storm ui 容量指标
如何计算“容量"? 来自他们的文档 “容量"指标非常有用，它告诉您在过去 10 分钟内，bolt 执行元组所用的时间百分比.如果此值接近 1，则螺栓处于“满负荷状态"并且是拓扑中的瓶颈.满负荷螺栓的解决方案是增加螺栓的平行度. 我不太明白% 的时间.因此，如果该值为 0.75 - 它的真正含义是什么? 解决方案 这是 Bolt 忙与空闲的时间百分比.0.75 意味着 25
..
为什么我不能使用这个命令从storm-starter 运行这个例子?
我之前没有使用 Storm 或 Maven 的经验，我正在开发我的入门项目.当我使用那里给出的命令编译上传到 git 网站的启动项目时，即: mvn compile exec:java -Dexec.classpathScope=compile -Dexec.mainClass=storm.starter.ExclamationTopology 我可以运行 Exclamation 拓扑类，但是
..
暴风雨中的 kryo 连载
我需要通过 apache Storm(部署在远程集群中)序列化复杂对象 (opencv:Mat).任何人都可以向我推荐一个很好的自定义 kryo 序列化教程或提出有关如何执行此操作的解决方案吗?提前致谢！ 解决方案 我已经创建了一个 bean 公共类 DataBean{垫子图像矩阵；内部标识；公共数据豆(){}公共数据豆(int id，垫矩阵){setId(id);设置图像矩阵(矩阵)
..
在 Storm 0.10.0 上，即使我设置了 worker=1，也会启动 2 个工作进程，并且 UI 报告 worker=1
我有一个风暴拓扑:setNumWorkers(1); 当我查看有关此正在运行的拓扑的 Storm UI 报告时，我看到 Num workers 设置为 1. 但是，当我登录到运行主管的节点时，我看到两个进程对 -Dworker.id 和 -Dworker.port 具有相同的设置. 我在下面包含了 ps 向我展示的这两个过程的输出. 我的问题是:如果我只请求一个，为什么有两个进
..
Apache Storm - Storm UI 中不存在 spout 和 bolts
我正在本地开发风暴拓扑.我正在使用 Storm 0.9.2-incubating 并开发了一个简单的拓扑.当我使用 LocalCluster() 选项部署它时，它工作正常，但它不会显示在我的 Storm UI 中，它只是执行. 当我定期部署它时，它会在我的 Storm UI 中显示拓扑，但是当我单击它时不会看到任何 spouts 或 bolts. 我也用 WordCountTopolo
..
java.util.ConcurrentModificationException 在 Stormcrawler 中向元数据添加一些键时发生
我在元数据中添加了一个字段，用于在状态索引中传输和持久化.该字段是一个字符串列表，其名称为 input_keywords.在 Strom 集群中运行拓扑后，拓扑停止并显示以下日志: java.lang.RuntimeException: com.esotericsoftware.kryo.KryoException: java.util.ConcurrentModificationExcepti
..
Stormconf.ser 不存在工人错误
我有一个包含 2 个节点和 1 个 ZooKeeper 的 Storm 集群.由于以下错误，其中一名工人死亡.有没有人知道为什么 stormconf.ser 文件被删除了? 我使用的是 0.9.2 Storm 和 3.4.6 ZK 版本. o.a.c.f.s.ConnectionStateManager [INFO] 状态更改:已连接2015-01-31 01:23:06 o.a.c.f.
..
每条推文中非重复词的总数
我是 java 和 Trident 的新手，我导入了获取推文的项目，但我想得到一些东西当我从 tuple.getValue(0);tuple.getValue(0); 仅表示第一条推文?！ 我在获取哈希集或哈希图中的所有推文以获取每条推文中的特征词总数时遇到的问题 public void execute(TridentTuple tuple, TridentCollector 收集器) {
..
Elasticsearch/Storm 集成方法
寻找 Elasticsearch 和 Apache Storm 之间的简单集成路径.对此的支持包含在 elasticsearch-hadoop 库中，但这给 Hadoop 堆栈带来了大量依赖:从 Hive 到 Cascading，我根本不需要这些.有没有人在没有引入 elasticsearch-hadoop 的情况下成功地进行了这种集成?谢谢. 解决方案 在我的项目中，我们使用 rabbi
..
用于 Storm 拓扑的 Mongo 连接池
要连接到 mongo 数据库，在我们的非风暴应用程序中，我们将创建一个 Mongo 类的单例实例并在整个应用程序中共享它 想知道在 Storm 框架中实现 Mongo 连接池的正确方法是什么? 我们尝试过的选项: 我们有一个从 Mongo 数据库读取的 spout.我们只是将单例 Mongo 类放在 spout 中并在 open 方法中初始化它?- 但是这种方法使得在需要时无法将 M
..
如何确保风暴不会将消息两次写入本地文件?
我构建了一个 topo 来通过 kafka 获取消息，然后 grep 一些关键字，如果合适，写入本地文件. 我使用storm-kafka的OpaqueTridentKafkaSpout来保证元组不会遗漏或重复，但考虑一种情况:在向本地文件写入消息时，发生一些错误(例如，空间不足).此时，有些消息已经写入本地文件，有些则没有，如果spout重新发送消息，消息将被写入两次. 如何处理?
..
风暴喷口没有发出 &结果文件为空
我是 Storm 的新手，我在遇到一些问题后成功地从 github 提交了不同的拓扑，如 Storm-starter 和其他拓扑，但其中一些 spout 没有发出！像那样 是吗?还是有问题? 提交拓扑后在哪里可以找到结果?我猜在 storm 文件夹中的 result 文件中，但它是空的！ 这是我在螺栓“其中之一"中所拥有的 解决方案 storm 中没有明确的“结果"文件.
..
如何使用 Eclipse 在本地实现 Storm 项目中的日志更改
我不知道如何使用 Eclipse 对本地 Storm 项目实施更改.我可以通过修改 ./logback/clusters.xml 文件(例如将日志级别从 INFO 更改为 ERROR>). 我该怎么做? 解决方案 我不确定我是否理解正确.“本地风暴项目"是什么意思?您是否使用 LocalCluster 执行?在这种情况下，您需要创建一个文件“logback.xml"并将您的记录器配置放在
..
使用 TTL 将数据从一个 Cassandra 表复制到另一个表
我们通过从分区键中删除一列来更改其中一张表的分区键.该表中的每条记录也都有 TTL.现在我们想用 TTL 保留该表中的数据.我们该怎么做? 我们可以创建具有所需架构的新表，然后将数据从旧表复制到新表.然而，我们在这个过程中失去了 TTL. 欲知更多信息 - 此 Cassandra 表由 Apache Storm 应用程序填充，该应用程序从 Kafka 读取事件.我们可以重新水合 Kaf
..