hbase 第10页 - IT屋-程序员软件开发技术分享社区

Hbase客户端无法连接到远程Hbase服务器

我为远程服务器编写了以下hbase客户端类: System.out.println("Hbase Demo Application "); // CONFIGURATION // ENSURE RUNNING try { HBaseConfiguration config = ..

发布时间：2020-11-22 01:44:07 java hadoop hbase Java开发

结合使用protobuf3和一些依赖于Java中protobuf2的库

我正在使用protobuf3表示我们的数据，虽然我们需要hbase来存储数据，但似乎hbase依赖于protobuf2. 当我写以下行来创建我们的hbase表时 admin.createTable(desc); 然后我得到了一个Excepiton:NoClassDefFoundError: com/google/protobuf/LiteralByteString 我尝试使用 ..

发布时间：2020-11-20 02:30:36 java gradle hbase protocol-buffers Java开发

我通过制作一个虚拟的Web应用程序对Google Cloud Bigtable进行了负载测试，该应用程序可以处理向Bigtable写入数据和从Bigtable读取数据的请求.刚开始时，我只使用一个Bigtable连接作为一个单例，并在所有线程(请求)中重用它.当我增加请求数量时，我注意到性能越来越慢.不知何故，我没有增加节点数，而是想到了建立多个Bigtable连接，然后将它们随机分配给任何线程， ..

发布时间：2020-11-18 21:04:16 java spring-boot hbase google-cloud-platform google-cloud-bigtable Java开发

有没有办法通过python反序列化Java对象

我将Java对象存储在hbase中（即，假设我有一个对象“ User”，带有3个参数，例如名字，中间名和姓氏）。我在Java中使用以下代码进行序列化 Object object =（object）user; byte [] byteData = SerializationUtils.serialize（（Serializable）object）; 并存储在hbase中 ..

发布时间：2020-10-21 00:36:15 java python serialization hbase deserialization Java开发

将Spark数据框插入HBase

我有一个数据框，我想将其插入到hbase中。我遵循此文档。这是我的数据框的样子： -------------------- | id |名称|地址| | -------------------- | | 23 |结婚|法国| | -------------------- | | 87 | zid | italie | -------------------- ..

发布时间：2020-10-17 00:23:24 scala apache-spark dataframe hbase rdd 其他开发

HBase：创建多个表还是包含多个列的单个表？

何时创建多个表而不是创建具有大量列的单个表是有意义的。我知道表通常只有几个列族（1-2），每个列族可以支持1000多个列。何时创建单独的列有意义HBase在单个表中可能包含大量列的情况下表现良好的表？解决方案在回答问题本身之前，让我首先说明一些主要因素。我将假定使用的文件系统是HDFS。一个表被划分为称为区域的键空间的非重叠分区。键范围->区域映射存储在称为me ..

发布时间：2020-10-16 04:22:52 hadoop database-design hbase 其他开发

HBase命令在通过crontab执行的脚本中不起作用

我试图使用以下脚本列出hbase中存在的表集：＃！/ bin / bash /home/user/hbase-1.2.4/bin/hbase shell /home/user/myfile.txt list'RAW_5 _。*' eof 当我使用:: sh script.sh 在bash终端中运行脚本时，我可以获得表列表。 p ..

发布时间：2020-10-11 05:30:01 bash shell hadoop cron hbase 其他开发

如何将Java中的字符串与不区分大小写的hbase中存储的另一个字符串进行比较？

我是HBase的新手。我想比较Java中的字符串和不区分大小写的hbase中存储的另一个字符串。我该如何实现？预先感谢... 解决方案您可以尝试使用RegexStringComparator，例如 RegexStringComparator regexStringComparator = new RegexStringComparator（“ ^ [aA] ..

发布时间：2020-09-29 18:50:17 java string hbase case-insensitive Java开发

HBase-WAL和MemStore有什么区别?

我试图了解HBase体系结构.我可以看到两个不同的术语用于同一目的. Write Ahead Logs和Memstore都用于存储尚未持久保存到permanent storage的新数据. WAL和MemStore有什么区别? 更新: WAL-用于在服务器崩溃时恢复尚未持久的数据. MemStore-将更新作为已排序键值存储在内存中. 在将数据写入磁盘之前，似乎有很多 ..

发布时间：2020-09-06 19:37:57 hadoop architecture hbase hdfs 其他开发

Hbase错误“错误:/hbase/master的KeeperErrorCode = NoNode"

在hbase shell中执行任何命令时，我在hbase shell中收到以下错误"ERROR:KeeperErrorCode = NoNode for/hbase/master". 启动HBASE: HOSTCHND:hbase-2.0.0 gvm$ ./bin/start-hbase.sh localhost: running zookeeper, logging ..

发布时间：2020-09-05 00:08:25 hadoop hbase hdfs apache-zookeeper 其他开发

Spark 2.3.0 SQL无法将数据插入Hive HBase表

使用与hive 2.2.0集成的Spark 2.3 thriftserver.从火花beeline运行.尝试将数据插入Hive HBase表(以HBase为存储的Hive表)中.插入到蜂巢本机表就可以了.插入配置单元hbase表时，它将引发以下异常: ClassCastException:org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFor ..

发布时间：2020-09-04 20:56:49 apache-spark hive apache-spark-sql hbase 其他开发

通过谓词下推连接两个数据集

我有一个从 RDD 创建的 Dataset ，并尝试将其与从我的创建的另一个 Dataset 结合在一起.凤凰台: val dfToJoin = sparkSession.createDataset(rddToJoin) val tableDf = sparkSession .read .option("table", "table") .option("zkURL", "loc ..

发布时间：2020-09-04 08:36:33 scala apache-spark hbase apache-spark-sql phoenix 其他开发

Spark:如何使用HBase过滤器，例如python-api的QualiferFilter

我想通过使用python-api中的QualiferFilter之类的过滤器从HBase中获取行. 我知道从HBase获取行的方式，就像在代码下一样. host = 'localhost' keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter" valueC ..

发布时间：2020-09-04 08:30:50 python apache-spark hbase pyspark Python

使用结构化Spark流在HBase中批量插入数据

我正在使用结构化火花流读取来自Kafka(每秒100.000行)的数据，并且我试图将所有数据插入HBase. 我使用的是Cloudera Hadoop 2.6，使用的是Spark 2.3 我尝试了类似此处的操作. eventhubs.writeStream .foreach(new MyHBaseWriter[Row]) .option("checkpointLocation ..

发布时间：2020-09-04 05:57:11 scala apache-spark hbase spark-streaming bulkinsert 其他开发

排除CDH对spark-core的依赖

我正在使用结构化火花流来写入来自Kafka的HBase数据. 我的集群分布是:Hadoop 3.0.0-cdh6.2.0，我正在使用Spark 2.4.0 我的代码如下: val df = spark .readStream .format("kafka") .option("kafka.bootstrap.servers", bootstrapServers) .opt ..

发布时间：2020-09-04 05:21:15 apache-spark hadoop apache-kafka hbase cloudera-cdh 其他开发

使用Pyspark与Hbase进行交互的最佳方法是什么

我正在使用pyspark [spark2.3.1]和Hbase1.2.1，我想知道使用pyspark访问Hbase的最佳方法是什么吗? 我进行了一些初始搜索，发现几乎没有可用的选项，例如使用shc-core:1.1.1-2.1-s_2.11.jar，但这可以实现，但是无论我在哪里寻找示例，在大多数地方，代码都是用Scala编写的，或者示例也是基于Scala的.我尝试在pyspark中实现基本 ..

发布时间：2020-09-04 04:19:37 apache-spark hadoop pyspark apache-spark-sql hbase 其他开发

具有Hbase集成的Spark结构化流

我们正在对从MySQL收集的kafka数据进行流式处理.现在，所有分析完成后，我想将数据直接保存到Hbase.我已经通过了Spark结构化的流式文档，但是使用Hbase找不到任何接收器.下面是我用来从Kafka读取数据的代码. val records = spark.readStream.format("kafka").option("subscribe", "kaapociot").op ..

发布时间：2020-09-04 01:44:32 scala apache-spark apache-kafka hbase spark-streaming 其他开发

HRegionServer显示“错误通知主机我们已经启动".显示套接字异常:无效的参数

我正在尝试在3个centos机器中创建一个hbase集群. Hadoop(v-2.8.0)已启动并在顶部运行我配置了HBase(v-1.2.5).Hbase启动很好，它启动了HMaster和Region服务器，但仍然显示区域服务器和HMaster日志中的以下错误它显示没有签入任何区域服务器. 2017-04-20 19:30:33,950 WARN [regionserver/localh ..

发布时间：2020-09-03 03:53:06 apache hadoop hbase centos7 bigdata 服务器开发

运行伪分布式HBase时出错

我通过Homebrew在Mac OSX 10.9中安装了Hadoop和HBase. Hadoop的版本为2.5.1，HBase的版本为0.98.6.1. 启动HDFS，并尝试启动HBase之后，出现以下错误: 错误:找不到或加载主类org.apache.hadoop.hbase.util.HBaseConfTool 错误:找不到或加载主类org.apache.hadoop.hba ..

发布时间：2020-08-14 23:09:50 macos hadoop hbase 其他开发

TSocket读取0字节-happybase版本0.8

我正在尝试通过happybase Framework版本0.8连接hbase. 我已经开始守护进程- /usr/hdp/current/hbase-master/bin/hbase-daemon.sh start thrift -p 9090 from happybase.connection import Connection DEFAULT_HOST = '10.128.121 ..

发布时间：2020-07-23 04:54:52 python hbase thrift happybase Python

hbase相关内容