hbase相关内容

将文档(.pdf,.doc和.txt文件)存储在MaprDB中

我需要将诸如.pdf,.doc和.txt文件之类的文档存储到MaprDB.我在Hbase中看到了一个示例,该示例以二进制形式存储文件并在Hue中作为文件检索,但是我不确定如何实现.知道如何将文档存储在MaprDB中吗? 解决方案 第一件事是,我不知道Maprdb是使用Cloudera的即时消息.但是我在hbase方面具有丰富的经验,如下面提到的那样,在hbase中将许多类型的对象存储为字节 ..
发布时间:2020-11-22 19:02:21 Java开发

HBase范围如何扫描十六进制行键?

当尝试在HBase Shell上执行范围扫描时,以下内容在HBase Shell中起作用. scan 'mytable', {STARTROW => "\x00\x00\x00\x00\x01\x8F\xF6\x83", ENDROW => "\x00\x00\x00\x00\x01\x8F\xF6\x8D"} 但是,当尝试实现Java客户端以执行相同的操作时,它不会检索到任何结果. ..
发布时间:2020-11-22 19:01:55 Java开发

Hbase Shell-对扫描结果调用hbase命令

我在这里遇到了一个小问题: -我可以使用外壳中的过滤器扫描表格 -我可以使用hbase shell删除一行 但是我找不到扫描表,迭代结果并删除它们的方法.甚至有可能在hbase shell中“命令"命令,还是我必须做一个ruby脚本(注意:我不知道该怎么做) 我想做什么: 扫描'mytable',{列=> ['c:1],FILTER =>"SingleColumnValueFilter ..
发布时间:2020-11-22 19:01:51 其他开发

Apache Phoenix非法数据异常

我在从HBase写入数据并用Phoenix读取数据时遇到问题. 这些是重现该问题的步骤: 使用Phoenix创建表. CREATE TABLE test ( id varchar not null, t1.a unsigned_int, t1.b varchar CONSTRAINT pk PRIMARY KEY (id)) COLUMN_ENCOD ..
发布时间:2020-11-22 19:01:48 其他开发

如何像Hive表分区一样在Hbase表中创建分区

我们计划从CDH3迁移到CDH4,作为此迁移的一部分,我们还计划将HBASE引入系统,因为它也更新了数据,在CDH3中,我们将Hive用作仓库. 在这里,我们遇到了迁移中的主要问题,Hive支持对表的分区.而且我们的系统中有许多具有不同模式的表,并且某些表具有基于日期的分区,我们拥有过去5年的数据历史记录(某些表中存在365 * 5分区). 我们也想在HBase中实现相同的行为,当我浏 ..
发布时间:2020-11-22 19:01:46 其他开发

使用Spark和Phoenix将CSV文件保存到hbase表

有人可以指出一个使用Spark 2.2 将csv文件保存到Hbase表的工作示例吗? 我尝试和失败的选项(请注意:所有选项都对我来说适用于Spark 1.6) 凤凰火花 hbase-spark it.nerdammer.bigdata:spark-hbase-connector_2.10 在解决所有问题之后,所有这些最终都给此谢谢 解决方案 将以下参数添加到您的spark作 ..
发布时间:2020-11-22 19:01:42 其他开发

如何获得HBASE中处于FAILED_OPEN状态的区域?

Hbase hbck成功运行,并且没有任何不一致,但是在过渡状态(三个状态中有两个处于CLOSED状态并且1个处于FAILED_OPEN)状态的三个区域中. (所有三个区域都是一个表的一部分) 由于HBASE处于一致状态,所以Hbase操作没有问题,但是由于区域处于过渡状态,所以我无法运行均衡器. 如何删除/移出这些区域. 我在发布此问题之前尝试了以下命令. hbase h ..
发布时间:2020-11-22 19:01:38 其他开发

HBase一对多的“关系"存储

我正在考虑在HBase中实现一对多关系的最佳方法. 说一个帐户有很多交易. a)在交易中添加列:ACCOUNT表上的列族,即交易:1:金额,交易:2:金额 b)仅将与帐户相关的每个交易的关键字存储在交易中:ACCOUNT列族,并在单独的交易表中查找每个交易吗? 解决方案 通常,选项a是更好的方法. 这使您可以轻松地一次请求一个帐户的所有交易.对于每笔交易,都不需要其 ..
发布时间:2020-11-22 19:01:33 其他开发

HBase Shell日志记录

使用HBase shell时,我得到了大量的日志记录,包括INFO和DEBUG消息.尽管这对于学习HBase的内部知识很有趣,但它很冗长,可以掩盖输出. 我尝试以多种不同方式更改日志记录级别,包括18:50:49.500 [main] INFO org.apache.zookeeper.ZooKeeper - Client environment:zookeeper.version=3.4. ..
发布时间:2020-11-22 19:01:30 其他开发

如何为hbase指定RPC服务器端口?

我正在docker容器中启动hbase,并希望客户端代码能够连接到hbase rpc服务器端口.问题是:它总是不同的(从临时端口范围中随机选择). 浏览hbase代码( hbase.regionserver.port "或" hbase.master.port "来覆盖端口. 我尝试在hbase-conf.xml中设置它们,但没有任何效果-端口仍然是随机的,好像这些属性已解析为0. ..
发布时间:2020-11-22 19:01:26 其他开发

HBase连接池,用于非常频繁地扫描行

我必须在一小时内非常频繁地(〜百万次)扫描表中的行.我有关于rowid(这是一个字节数组)的信息.我正在创建用于创建起始行和结束行的rowid,在我的情况下该行ID基本上是相同的. public String someMethod(byte[] rowid){ if (aTable == null) { aTable = ..
发布时间:2020-11-22 19:01:22 Java开发

Scala中具有SBT的HBase依赖项

我是Scala,SBT和Intellij的新手. 使用以下sbt文件: name := "mycompany" version := "0.0.1-SNAPSHOT" scalaVersion := "2.11.8" libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.0.1", "or ..
发布时间:2020-11-22 19:01:11 其他开发

HBase Master无法启动

我在CDH群集5.7.0中运行了HBase.在运行了几个月没有任何问题之后,hbase服务停止了,现在无法启动HBase主服务器(1个主服务器和4个区域服务器). 当我尝试在某个时候启动它时,机器挂起了,我在主日志中看到的最后一件事是: 2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils: Reco ..
发布时间:2020-11-22 19:01:09 其他开发

Hbase区域服务器中的异常

我不断看到这些日志在hbase区域服务器日志中打印出来. 10.0.5.133是存在hbase Java客户端的计算机. 它一直保持断开和连接状态.为什么会这样呢? 客户端库/服务器版本中是否存在不匹配?还有其他原因吗?我试图用谷歌搜索它,但是找不到任何有用的链接. 2015-12-25 20:24:03,210 DEBUG [RpcServer.reader=9,port=60020 ..
发布时间:2020-11-22 19:00:00 其他开发