hbase相关内容

如何决定使用哪种 NoSQL 技术?

MongoDB(基于文档)、HBase(基于列)和 Neo4j(对象图)的优缺点是什么? 我特别想知道每个用例的一些典型用例. 什么是好的例子图可以比替代方案更好地解决哪些问题? 也许有任何值得展示的 Slideshare 或 Scribd? 解决方案 MongoDB 可扩展性: 高度可用且一致,但在关系和许多分布式写入方面很糟糕.它的主要好处是存储和索引无模式文档 ..
发布时间:2021-12-28 17:43:13 其他开发

编写一个 ActiveRecord 适配器

我想为 HBase 数据库,因为目前不存在.但是,我在网上搜索了一段时间,找不到关于如何编写 ActiveRecord 适配器的任何好的资源.你会怎么做,或者有什么可以推荐的链接? 解决方案 我认为最简单的做法是转到源. rails 主干具有用于 mysql、postgres 和 sqlite 的适配器,您可以将适配器作为其基础.abstract_adapter.rb 很短而且很容易 ..
发布时间:2021-12-23 15:10:59 其他开发

扩展 Hadoop 的 TableInputFormat 以使用用于分发时间戳键的前缀进行扫描

我有一个 hbase 表,它的键是一个时间戳,带有一个字节随机前缀来分发键,因此扫描不会成为热点.我正在尝试扩展 TableInputFormat 以便我可以在具有范围的表上运行单个 MapReduce,为所有 256 个可能的前缀添加前缀,以便扫描具有指定时间戳范围的所有范围.不过,我的解决方案不起作用,因为它似乎总是扫描最后一个前缀 (127) 256 次.必须在所有扫描中共享某些内容. ..
发布时间:2021-12-15 19:28:58 Java开发

如何在类路径中包含 hbase-site.xml

我目前正在尝试让我的 HBase 代码使用在我的 hbase-site.xml 中指定的设置.它似乎使用默认设置而不是 hbase-site.xml 配置文件中指定的设置.更新文件后,我重新启动了 HBase 集群,但它仍然没有使用我更新的配置文件. 我使用的集群是 2 个节点,其中一个是主节点.两个节点上的配置文件都将主节点的 IP 指定为 zookeeper 仲裁.我相信问题是我在 hb ..
发布时间:2021-12-15 19:22:40 Java开发

HBase 错误:zookeeper.znode.parent 不匹配

我正在尝试学习 Hadoop,并且我已经阅读了 Hadoop 权威指南中的 HBase 部分.我尝试启动 HBase 并出错.有人能给我一步一步的指导吗? opel@ubuntu:~$ zkServer.sh start默认启用 JMX使用配置:/home/opel/zookeeper-3.4.6/bin/../conf/zoo.cfg启动zookeeper ... STARTEDopel@ub ..
发布时间:2021-12-15 19:22:30 其他开发

hbase 找不到现有表

我设置了一个 hbase 集群来存储来自 opentsdb 的数据.最近由于一些节点的重启,hbase 丢失了表“tsdb".我仍然可以在 hbase 的主节点页面上,但是当我点击它时,它给了我一个 tableNotFoundException org.apache.hadoop.hbase.TableNotFoundException: tsdb在 org.apache.hadoop.hbas ..
发布时间:2021-12-15 19:14:35 其他开发

hbase 连接被拒绝

我是 HBase 和 Hadoop 的新手.我已经完全设置了 HBase 并完美启动.现在,当我尝试使用 Java 客户端从 p1 连接到 HBase(HBase 设置在 p2 上)时,它抛出了一个奇怪的异常. 12/04/17 14:36:37 INFO zookeeper.ZooKeeper:发起客户端连接,connectString=192.168.15.20:2181 sessionTi ..
发布时间:2021-12-15 19:12:07 Java开发

将 csv 数据加载到 Hbase

我对 hadoop 和 hbase 非常陌生,并且在我找到的每个教程中都有一些概念性问题让我感到困惑. 我在 win 7 系统上的 ubuntu VM 内的单个节点上运行了 hadoop 和 hbase.我有一个 csv 文件,我想将它加载到单个 hbase 表中. 列是:loan_number、borrower_name、current_distribution_date、loan_ ..
发布时间:2021-12-15 19:11:21 其他开发

可扩展的图像存储

我目前正在为基于 Web 的应用程序设计架构,该架构还应提供某种图像存储.用户将能够上传照片作为该服务的主要功能之一.同时查看这些图像将是主要用途之一(通过网络). 但是,我不确定如何在我的应用程序中实现这样一个可扩展的图像存储组件.我已经想过不同的解决方案,但由于缺少经验,我期待听到您的建议.除了图像,还必须保存元数据.以下是我的初步想法: 使用 HDFS 等(分布式)文件系统,并准 ..
发布时间:2021-12-15 19:02:01 其他开发

名称节点:java.net.BindException

大家好,我遇到了一个非常奇怪的问题.我正在通过从我的机器访问它在另一个 VM 上安装 HBase 和 hadoop.现在我已经正确安装了 hadoop,然后伊朗它./start-all.sh,我看到了所有进程都在完美运行.所以我做了 jps,我看到了 工作追踪器 任务追踪器 名称节点 二级名称节点 数据节点 一切运行良好.现在当我设置 hbase 然后启动 hadoop 和 Hba ..
发布时间:2021-12-15 19:01:14 Java开发

以编程方式将数据批量加载到 HBase 的最快方法是什么?

我有一个可能有数百万行的纯文本文件,需要自定义解析,我想尽快将其加载到 HBase 表中(使用 Hadoop 或 HBase Java 客户端). 我当前的解决方案是基于 MapReduce 作业,没有减少部分.我使用 FileInputFormat 读取文本文件,以便将每一行传递给我的 Mapper 类的 map 方法.此时,该行被解析为一个 Put 对象,该对象被写入 context.然 ..
发布时间:2021-12-15 18:48:41 Java开发

HBase 和 Hadoop/HDFS 的区别

这是一个很幼稚的问题,但我是 NoSQL 范式的新手,对此知之甚少.因此,如果有人可以帮助我清楚地了解 HBase 和 Hadoop 之间的区别,或者提供一些可能有助于我了解区别的指示. 到现在为止,我做了一些研究和acc.据我了解,Hadoop 提供了在 HDFS 中处理原始数据(文件)块的框架,而 HBase 是 Hadoop 之上的数据库引擎,它基本上可以处理结构化数据而不是原始数据块 ..
发布时间:2021-12-15 18:32:11 其他开发