hbase相关内容

HBase如何启用对HDFS的随机访问?

考虑到HBase是一个数据库,其文件存储在HDFS中,它如何能够随机访问HDFS中的单个数据?通过哪种方法完成? 从 HBase参考指南: HBase在内部将您的数据置于HDFS上索引的“StoreFiles”中,速度查找。有关HBase如何实现其目标的更多信息,请参阅第5章,数据模型和本章的其余部分。 扫描这两个章节并未揭示此问题的高级答案。 $ b $ HBase如何使随机 ..
发布时间:2018-05-31 18:43:23 分布式计算/Hadoop

Hive与HBase相比如何?

我有兴趣了解最近发布的( http:// mirror.facebook.com/hive/hadoop-0.17/ )Hive在性能方面与HBase相比。 Hive使用的类似SQL的接口比我们已经实现的HBase API更适合。 解决方案 很难找到很多关于Hive,但是我在Hive网站上发现了这个片段,它严重偏向于HBase(粗体已添加): Hive基于Hadoop,它是一个批处理 ..
发布时间:2018-05-31 18:40:23 分布式计算/Hadoop

扩展Hadoop的TableInputFormat以使用用于分发时间戳键的前缀进行扫描

我有一个hbase表,谁的关键是带有一个字节随机前缀的时间戳来分配密钥,所以扫描不是热点。我试图扩展 TableInputFormat ,这样我就可以在带有范围的表上运行一个MapReduce,前缀为全部256个可能的前缀,以便具有指定时间戳范围的所有范围都是扫描。我的解决方案虽然不起作用,因为它似乎总是扫描最后一个前缀(127)256次。必须在所有扫描中共享。 我的代码如下。任何想法? ..
发布时间:2018-05-31 18:38:19 Java开发

使用Pig ERROR 2998的CDH4 Hbase java.lang.NoClassDefFoundError:org / apache / hadoop / hbase / filter / Filter

我在伪分布式模式下使用CDH4,并且与HBase和Pig一起工作时遇到了一些麻烦(但两者都可以正常工作)。 我正在关注一步一步这个很好的教程: http://blog.whitepages。因此,我的猪脚本看起来像这样 $ b $ / $ / $> b 注册/usr/lib/zookeeper/zookeeper-3.4.3-cdh4.1.2.jar 注册/ usr / lib / ..

hbase找不到现有的表

我设置了一个hbase集群来存储来自opentsdb的数据。最近由于重新启动了一些节点,hbase丢失了表“tsdb”。我仍然可以在hbase的主节点页面,但是当我点击它,它给了我一个tableNotFoundException org.apache。 hadoop.hbase.TableNotFoundException:tsdb at org.apache.hadoop.hbase ..
发布时间:2018-05-31 18:34:51 分布式计算/Hadoop

将csv数据加载到Hbase中

我对hadoop和hbase非常陌生,并且在我找到的每个教程中都有一些概念性问题让我失望。 我有hadoop和hbase运行在我的win 7系统上的一个Ubuntu VM内的单个节点上。我有一个csv文件,我想加载到一个hbase表中。 列是:loan_number,borrower_name,current_distribution_date,loan_amount 我知道我需 ..
发布时间:2018-05-31 18:33:47 分布式计算/Hadoop

Hbase客户端无法连接远程Hbase服务器

我为远程服务器编写了一个hbase客户端类: System.out.println(“Hbase Demo Application” ); // CONFIGURATION //确保正在运行 try { HBaseConfiguration config = new HBaseConfiguration(); config.clear(); config.set ..
发布时间:2018-05-31 18:33:42 Java开发

可伸缩图像存储

我目前正在为基于网络的应用程序设计架构,该架构还应提供某种图像存储。用户将能够上传照片作为服务的关键功能之一。同时查看这些图像将成为主要用途之一(通过网页)。不过,我不确定如何在我的应用程序中实现这样一个可伸缩的图像存储组件。我已经考虑过不同的解决方案,但由于缺少经验,我期待听到您的建议。除了图像之外,还必须保存元数据。 这是我最初的想法:使用(分布式)文件系统(如HDFS)并将专用的Web服务 ..
发布时间:2018-05-31 18:32:21 分布式计算/Hadoop

NameNode:java.net.BindException

您好,我困在一个非常奇怪的问题。我正在安装HBase和hadoop在另一个虚拟机上访问它从我的机器。现在我已经正确安装hadoop,然后iran它./start-all.sh,我看到所有进程都运行得很完美。所以我做jps,我看到了 jobtracker tasktracker namenode secondrynamenode datanode 一切都运行良好。现在 ..
发布时间:2018-05-31 18:32:06 Java开发

Hbase快速统计行数

现在我在 ResultScanner 上实现行计数,就像这样 for(结果rs = scanner.next(); rs!= null; rs = scanner.next()){ number ++; $ b $ p $ b如果达到数百万次计算的数据量很大,我想实时计算我不想使用Mapreduce 如何快速计算行数。 解决方案在HBase中使用Ro ..
发布时间:2018-05-31 18:29:01 分布式计算/Hadoop

以编程方式批量加载数据到HBase的最快方式是什么?

我有一个纯文本文件,可能有数百万行需要自定义分析,我想尽可能快地将它加载到HBase表中(使用Hadoop或HBase Java客户端)。 我目前的解决方案基于没有Reduce部分的 MapReduce 作业。我使用 FileInputFormat 来读取文本文件,以便每行都传递给我的 map 方法c> Mapper 类。在这一点上,该行被解析为一个写入上下文的 Put 对象。然后, Tab ..
发布时间:2018-05-31 18:28:58 Java开发