apache-zookeeper相关内容

Stormconf.ser 不存在工人错误

我有一个包含 2 个节点和 1 个 ZooKeeper 的 Storm 集群.由于以下错误,其中一名工人死亡.有没有人知道为什么 stormconf.ser 文件被删除了? 我使用的是 0.9.2 Storm 和 3.4.6 ZK 版本. o.a.c.f.s.ConnectionStateManager [INFO] 状态更改:已连接2015-01-31 01:23:06 o.a.c.f. ..
发布时间:2021-11-15 00:06:50 其他开发

OpenShift 上的 Zookeeper

尝试在 OpenShift 上运行 Zookeeper. 由于 Zookeeper 的硬编码和静态配置要求,这不是那么简单. 谁能提出一些建议或网络资源来讨论克服这些问题的方法. 问候 解决方案 我在 3.4 上尝试过一段时间 https://github.com/smarterclayton/openshift-zookeeper-cart - 差距在于内部zookee ..
发布时间:2021-11-15 00:06:44 其他开发

在 ZooKeeper 中使用协议 Zab 进行广播

早上好, 我是 ZooKeeper 及其协议的新手,我对它的广播协议 Zab 感兴趣. 能否提供一个简单的java代码,使用Zookeeper的Zab协议?我一直在搜索,但我没有成功找到显示如何使用 Zab 的代码. 事实上,我需要的很简单,我有一个 MapReduce 代码,我希望所有映射器在成功找到更好的 X 值(即更大的值)时更新变量(假设为 X).在这种情况下,领导者必须 ..
发布时间:2021-11-15 00:06:38 其他开发

Kafka 集群 - 生产者

我有几个关于 Kafka 的问题.如果有人可以通过回复其中之一来帮助我,我将不胜感激. 先谢谢你:) Q1) 我知道分区在 Kafka Broker 之间分开.但分裂是基于什么?.例如,如果我有 3 个代理和 6 个分区,如何确保每个代理将有 2 个分区?Kafka 目前是如何进行这种拆分的? Q2) 当生产者发送一条新消息时,消息的默认格式是什么?Avro 格式 ?例如,如何将 ..

单机性能上的多个分片

如果我只使用一台机器,在 Elasticsearch 中拥有多个分片是否有意义?它会以任何方式提高性能吗? 关于 Apache Solr 的相同问题 - 将 Solr Cloud 与 ZooKeeper 用于单个服务器实例是否有意义,还是仅创建一个核心而不进行任何分片? 假设我以后不打算使用其他机器,那么重点是单台机器上的分片如何影响搜索引擎的性能? 解决方案 Lucene 的 ..

zookeeper 持久节点过期

我无法在 zookeeper 中找到有关持久节点自动过期的信息.持久节点是仅在 Zookeeper 服务器关闭时过期还是可以在此之前过期?.如果是,可能的原因是什么.这里我问的是自动过期而不是手动删除节点. 解决方案 持久性 ZK 节点保存在磁盘上,并在服务重启时保留,仅在请求时删除.客户端断开连接时会自动删除临时节点. ..
发布时间:2021-11-15 00:06:25 其他开发

动物园管理员工作

我正在学习 Zookeeper.我了解到当集群包含 1000 台机器时,zookeeper 非常有用.我几乎没有怀疑. 我尝试阅读以下链接以了解解释 Apache ZooKeeper 解释 Apache ZooKeeper 我有以下问题 1) 在处理集群中的数千台机器时,zookeeper 有什么帮助? 2)zookeeper如何解决分布式同步问题? 3)zookeeper ..
发布时间:2021-11-15 00:06:22 服务器开发

Storm拓扑部署超时

我正在尝试在我的 Macbook Pro 上设置 Apache Storm (1.0.2),但如果我尝试部署拓扑,显然会遇到超时问题.用户界面也挂了,吐出同样的异常. 3491 [main] INFO o.a.s.StormSubmitter - 为 MD5-digest 生成的 ZooKeeper 秘密负载:-8915636774701640550:-651075265796178588635 ..
发布时间:2021-11-15 00:06:18 其他开发

Zookeeper zk_max_latency 是如何计算的?

嗨,我刚刚从我的动物园管理员那里拿走了一些统计数据...... 如您所见,zk_max_latency 相当高.但这是它曾经达到的最大值还是始终是当前值? echo mntr |本地主机 2181zk_version 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03,建立于 06/29/2018 04:05 GMTzk_avg_latency ..
发布时间:2021-11-15 00:06:12 其他开发

Zookeeper 如何从 __consumer_offsets 主题中检索消费者偏移量?

这是“Zookeeper 在哪里做的后续问题存储Kafka集群和相关信息?"基于 Armando Ballaci 提供的答案. 现在很明显,消费者偏移量存储在 Kafka 集群中一个名为 __consumer_offsets 的特殊主题中.没关系,我只是想知道这些偏移量的检索是如何工作的. Topic 不像 RDBS,我们可以基于某个谓词查询任意数据.例如 - 如果数据存储在 RDBM ..

如何设计一个能够以动态方式高效管理配置的系统?

我正在设计一个系统,我需要在其中以动态方式跨应用服务器管理配置(配置文件).我正在使用 Consul 键值存储来管理配置. 为了管理配置,我在 consul kv 存储中创建了以下节点. {"remoteConfig":"abc-123.tgz", "...."} 这里 remoteConfig 包含所有应用服务器将使用的配置文件(至少这是我得到的设计). 以下是我想要做的: ..

Hbase 设置配置:HMaster 未运行

我正在尝试以完全分布式模式设置 HBase:由 1 个主服务器和 2 个区域服务器组成.我在 hbase-env.sh 中设置了 HBASE_MANAGES_ZK = true.hadoop集群在集群上运行,配置如下: 主:节点主区域服务器 1:节点 1Regionserver2:node2 当我启动 HBase 时,我可以看到 RegionServers 正在启动,并且 HQuoru ..
发布时间:2021-11-15 00:06:03 其他开发

创建集合时 Solr 云错误找不到配置文件

我正在使用外部 Zookeper 进行测试,我在本地系统上使用的步骤如下.步骤 1. 创建了 3 个 zokeper 服务器,其中包含 myid 文件的数据,其中 myid 文件分别包含唯一编号 1,2,3.第 2 步.我使用命令 启动了所有三个 Zookeper 服务器 ./zkServer.sh start 步骤 3. 检查每个服务器 2 的状态,显示状态为领导者,其余 2 为模式: ..
发布时间:2021-11-15 00:05:56 其他开发

zookeeper 在哪里存放 kafka 集群和相关信息?

通过说集群信息,我指的是像 这样的信息 订阅的消费者/消费者群体 读取和提交的偏移量 分区的领导者和追随者 服务器上的主题等 zookeeper 是将这些信息保存在它自己的数据库中(尽管我从来没有听说过 Zookeeper 有任何自己的数据库)还是将这些信息存储在 Kafka 集群中的某些主题等? 编辑:以及后续问题:Zookeeper 如何从 __consumer_offs ..