hbase相关内容

Hbase 快速统计行数

现在我像这样在 ResultScanner 上实现行计数 for (Result rs = scanr.next(); rs != null; rs =scanner.next()) {数字++;} 如果数据达到百万次计算量很大,我想实时计算不想用Mapreduce 如何快速计算行数. 解决方案 在 HBase 中使用 RowCounterRowCounter 是一个 mapre ..
发布时间:2021-12-15 18:26:27 其他开发

java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/MasterNotRunningException

我是用自己的 HBase java 客户端代码创建的,但是我很难编译它并让它运行.我正在从命令行进行编译,但我找不到任何有关如何执行此操作的说明,或者我的类路径中需要有哪些 jar. 以下是我使用的类路径: $HADOOP_HOME/hadoop/hadoop-0.20.2/hadoop-0.20.2-core.jar:$HADOOP_HOME/hbase/hbase-0.90.0/hba ..
发布时间:2021-11-22 16:52:12 Java开发

HBase - WAL 和 MemStore 有什么区别?

我正在尝试了解 HBase 架构.我可以看到两个不同的术语用于同一目的. Write Ahead Logs 和 Memstore,两者都用于存储尚未持久化到永久存储的新数据.> WAL 和 MemStore 有什么区别? 更新: WAL - 用于在服务器崩溃时恢复尚未持久化的数据.MemStore - 将更新存储在内存中作为排序的键值. 在将数据写入磁盘之前,似乎有很多重 ..
发布时间:2021-11-17 02:26:21 其他开发

无法使用 java api 连接到 Hbase

我可以使用 java api 以独立模式(没有 Hadoop)连接到 Hbase 吗? 这是我的代码,我想知道如何使它工作.我应该为变量“config"设置一些属性吗? 我在本地安装了这些:Hbase-0.98.0 Hadoop 2.2.0 import java.io.IOException;导入 org.apache.hadoop.conf.Configuration;导入 or ..
发布时间:2021-11-15 04:28:26 Java开发

hbase api - 通过行 ID 列表获取数据行信息

是否可以通过 hbase java API 通过行 ID 列表获取 hbase 数据记录? 例如,我有一个已知的 hbase 行 ID 列表: mykey1:myhash1,mykey1:myhash2,mykey1:myhash3,mykey2:myhash5,... 并且我想通过一次调用来获取所有相关的列单元格信息.我对 hbase 还很陌生,我不知道 API 是否支持这一点 ..
发布时间:2021-11-15 02:09:07 Java开发

Hbase 设置配置:HMaster 未运行

我正在尝试以完全分布式模式设置 HBase:由 1 个主服务器和 2 个区域服务器组成.我在 hbase-env.sh 中设置了 HBASE_MANAGES_ZK = true.hadoop集群在集群上运行,配置如下: 主:节点主区域服务器 1:节点 1Regionserver2:node2 当我启动 HBase 时,我可以看到 RegionServers 正在启动,并且 HQuoru ..
发布时间:2021-11-15 00:06:03 其他开发

Java客户端连接Zookeeper和HBase失败

我编写了一个简单的 HBase 客户端程序来在我的 HBase 集群(1 个主服务器和 3 个区域服务器)中执行 CRUD 操作.Zookeeper 实例仅在主服务器中运行,仲裁包括所有 4 个服务器.集群运行良好,可以使用 YCSB 客户端进行读/写(意味着服务器/zookeeper 端没有任何问题). 现在在 eclipse 类路径中,我添加了所有 HBase 库和 hbase-0.94 ..
发布时间:2021-11-15 00:03:42 Java开发

HBase Master 无法启动

我在 CDH 集群 5.7.0 中运行 HBase.几个月没有任何问题运行后,hbase 服务停止了,现在无法启动 HBase 主服务器(1 个主服务器和 4 个区域服务器). 当我尝试在某个时候启动它时,机器挂起,我在主日志中看到的最后一件事是: 2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils:恢 ..
发布时间:2021-11-15 00:03:21 其他开发

连接并持久化到 HBase

我只是尝试使用 java 客户端连接到 hbase,它是 cloudera-vm 的一部分. (192.168.56.102 是虚拟机的 inet ip) 我使用只有主机网络设置的虚拟机. 这样我就可以访问hbase master的webUI@http://192.168.56.102:60010/master.jsp 我的 java 客户端(在 vm 本身上运行良好)也建 ..
发布时间:2021-11-15 00:01:17 Java开发

2n + 1 法定人数是什么意思?

我在描述 HBase 的 Zookeeper 配置时遇到过这个,我不熟悉这个术语.“N"是否与我的 HBase 集群中的节点数量有关?或者我应该在我的 Zookeeper 集群中使用多少节点? 解决方案 2f+1 指的是你需要的可靠性/可用性级别,一般来说它与性能无关. ZooKeeper 集成(服务集群)由一台或多台服务器组成,这些服务器对每次更改进行“投票".大多数原始服务器在接 ..
发布时间:2021-11-15 00:01:14 其他开发

关于zookeeper错误的Hbase连接

环境:Ubuntu 14.04、hadoop-2.2.0、hbase-0.98.7 当我启动 hadoop 和 hbase(单节点模式)时,都成功(我还检查网站 8088 for hadoop,60010 for hbase) jps4507 次要名称节点5350 HRegionServer4197 名称节点4795 节点管理器3948 QuorumPeerMain5209 HMaster ..
发布时间:2021-11-14 23:59:45 其他开发

错误 HBASE-ZOOKEEPER:连接过多

我在我的应用程序中使用 Hbase-Hadoop 组合以及作为 ORM 的 Data Nucleus. 当我尝试一次通过多个线程访问 hbase 时.它抛出异常: 线程“Thread-26"中的异常 javax.jdo.JDODataStoreExceptionorg.apache.hadoop.hbase.ZooKeeperConnectionException:HBase 能够连接到 ..
发布时间:2021-11-14 23:58:08 其他开发

重试 3 次后,ZooKeeper 存在失败

我以伪分布式模式运行 Hadoop-1.2.1 和 HBase-0.94.11. 由于断电,Hadoop 和 HBase 设置失败.下次当我重新启动机器并设置伪分发时,HBase 停止工作,并在 HBase shell 上出现以下错误: 13/11/27 13:53:27 ERROR zookeeper.RecoverableZooKeeper:3 次重试后,ZooKeeper 存在失败1 ..
发布时间:2021-11-14 23:57:37 其他开发