apache-zookeeper相关内容
我有一个包含 2 个节点和 1 个 ZooKeeper 的 Storm 集群.由于以下错误,其中一名工人死亡.有没有人知道为什么 stormconf.ser 文件被删除了? 我使用的是 0.9.2 Storm 和 3.4.6 ZK 版本. o.a.c.f.s.ConnectionStateManager [INFO] 状态更改:已连接2015-01-31 01:23:06 o.a.c.f.
..
我使用 hadoop2.7.3,Hbase 1.2.3,zookeeper 3.4.9. 每次我停止Hbase并重新启动它时,它都会抛出异常: [hadoop01:16000.activeMasterManager] zookeeper.MetaTableLocator:hbase:meta,,1 验证失败,地址=hadoop05,16020,1478663588885,异常=org.a
..
尝试在 OpenShift 上运行 Zookeeper. 由于 Zookeeper 的硬编码和静态配置要求,这不是那么简单. 谁能提出一些建议或网络资源来讨论克服这些问题的方法. 问候 解决方案 我在 3.4 上尝试过一段时间 https://github.com/smarterclayton/openshift-zookeeper-cart - 差距在于内部zookee
..
早上好, 我是 ZooKeeper 及其协议的新手,我对它的广播协议 Zab 感兴趣. 能否提供一个简单的java代码,使用Zookeeper的Zab协议?我一直在搜索,但我没有成功找到显示如何使用 Zab 的代码. 事实上,我需要的很简单,我有一个 MapReduce 代码,我希望所有映射器在成功找到更好的 X 值(即更大的值)时更新变量(假设为 X).在这种情况下,领导者必须
..
我有几个关于 Kafka 的问题.如果有人可以通过回复其中之一来帮助我,我将不胜感激. 先谢谢你:) Q1) 我知道分区在 Kafka Broker 之间分开.但分裂是基于什么?.例如,如果我有 3 个代理和 6 个分区,如何确保每个代理将有 2 个分区?Kafka 目前是如何进行这种拆分的? Q2) 当生产者发送一条新消息时,消息的默认格式是什么?Avro 格式 ?例如,如何将
..
如果我只使用一台机器,在 Elasticsearch 中拥有多个分片是否有意义?它会以任何方式提高性能吗? 关于 Apache Solr 的相同问题 - 将 Solr Cloud 与 ZooKeeper 用于单个服务器实例是否有意义,还是仅创建一个核心而不进行任何分片? 假设我以后不打算使用其他机器,那么重点是单台机器上的分片如何影响搜索引擎的性能? 解决方案 Lucene 的
..
我无法在 zookeeper 中找到有关持久节点自动过期的信息.持久节点是仅在 Zookeeper 服务器关闭时过期还是可以在此之前过期?.如果是,可能的原因是什么.这里我问的是自动过期而不是手动删除节点. 解决方案 持久性 ZK 节点保存在磁盘上,并在服务重启时保留,仅在请求时删除.客户端断开连接时会自动删除临时节点.
..
我正在学习 Zookeeper.我了解到当集群包含 1000 台机器时,zookeeper 非常有用.我几乎没有怀疑. 我尝试阅读以下链接以了解解释 Apache ZooKeeper 解释 Apache ZooKeeper 我有以下问题 1) 在处理集群中的数千台机器时,zookeeper 有什么帮助? 2)zookeeper如何解决分布式同步问题? 3)zookeeper
..
我正在尝试在我的 Macbook Pro 上设置 Apache Storm (1.0.2),但如果我尝试部署拓扑,显然会遇到超时问题.用户界面也挂了,吐出同样的异常. 3491 [main] INFO o.a.s.StormSubmitter - 为 MD5-digest 生成的 ZooKeeper 秘密负载:-8915636774701640550:-651075265796178588635
..
控制台日志中堆满了来自第 3 部分库的日志.例如,我的项目使用 kafka 和 zooker keeper 客户端库,因为它们的日志太多 2018-05-08 10:30:38.250 INFO 2968 --- [0:0:0:0:1:2181)]org.apache.zookeeper.ClientCnxn:打开套接字连接到服务器 0:0:0:0:0:0:0:1/0:0:0:0:0:0:0
..
嗨,我刚刚从我的动物园管理员那里拿走了一些统计数据...... 如您所见,zk_max_latency 相当高.但这是它曾经达到的最大值还是始终是当前值? echo mntr |本地主机 2181zk_version 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03,建立于 06/29/2018 04:05 GMTzk_avg_latency
..
这是“Zookeeper 在哪里做的后续问题存储Kafka集群和相关信息?"基于 Armando Ballaci 提供的答案. 现在很明显,消费者偏移量存储在 Kafka 集群中一个名为 __consumer_offsets 的特殊主题中.没关系,我只是想知道这些偏移量的检索是如何工作的. Topic 不像 RDBS,我们可以基于某个谓词查询任意数据.例如 - 如果数据存储在 RDBM
..
我正在设计一个系统,我需要在其中以动态方式跨应用服务器管理配置(配置文件).我正在使用 Consul 键值存储来管理配置. 为了管理配置,我在 consul kv 存储中创建了以下节点. {"remoteConfig":"abc-123.tgz", "...."} 这里 remoteConfig 包含所有应用服务器将使用的配置文件(至少这是我得到的设计). 以下是我想要做的:
..
我正在尝试以完全分布式模式设置 HBase:由 1 个主服务器和 2 个区域服务器组成.我在 hbase-env.sh 中设置了 HBASE_MANAGES_ZK = true.hadoop集群在集群上运行,配置如下: 主:节点主区域服务器 1:节点 1Regionserver2:node2 当我启动 HBase 时,我可以看到 RegionServers 正在启动,并且 HQuoru
..
我正在使用 Solr 6 并且我正在尝试填充它.这是我设置的主 Scala: object testChildDocToSolr {def main(args: Array[String]): Unit = {setProperty("hadoop.home.dir", "c:\\winutils\\")val sparkSession = SparkSession.builder().appN
..
我正在使用外部 Zookeper 进行测试,我在本地系统上使用的步骤如下.步骤 1. 创建了 3 个 zokeper 服务器,其中包含 myid 文件的数据,其中 myid 文件分别包含唯一编号 1,2,3.第 2 步.我使用命令 启动了所有三个 Zookeper 服务器 ./zkServer.sh start 步骤 3. 检查每个服务器 2 的状态,显示状态为领导者,其余 2 为模式:
..
通过说集群信息,我指的是像 这样的信息 订阅的消费者/消费者群体 读取和提交的偏移量 分区的领导者和追随者 服务器上的主题等 zookeeper 是将这些信息保存在它自己的数据库中(尽管我从来没有听说过 Zookeeper 有任何自己的数据库)还是将这些信息存储在 Kafka 集群中的某些主题等? 编辑:以及后续问题:Zookeeper 如何从 __consumer_offs
..
我创建了一个 python 脚本 raw_tweets_stream.py 来使用 twitter api 流式传输 twitter 数据.使用以下脚本将来自 twitter 的 json 数据提取到 kafka 生产者. `python raw_tweets_stream.py |/usr/hdp/current/kafka-broker/bin/kafka-console-producer.
..
我们有带有 3 台 kafka 机器和 3 个 zookeeper 服务器的 hadoop 集群 hadoop 版本 - 2.6.4 (HORTONWORKS) 在zookeeper日志(/var/log/zookper )下 我们看到了数百万条警告消息,例如: 2019-06-26 10:48:45,675 [myid:1] - WARN [NIOServerCxn.Fact
..
我目前设置了一个单独的 zookeeper 节点和 Curator 来访问数据.读取数据是通过 Curator TreeCache 完成的. 我有以下测试: public void test_callback_successive_changes_success_global_new_version() 抛出 InterruptedException {ZookeeperTestsHelp
..