hbase相关内容

使用HBase的用C#

我如何使用与C#/ VB.NET一个HBase的数据库? (使用=连接,查询,得到的结果,插入,更新,删除) 我不觉得与谷歌有用的答案。 解决方案 我刚刚发布HBase的C#节俭结合作为的NuGet包。 或者你可以抓住从到位桶代码/二进制文件: https://bitbucket.org/vadim / HBase的锐利/下载 ..
发布时间:2016-10-10 20:44:49 C#/.NET

不能用的Java API连接到HBase的

我可以使用Java API连接到HBase的以单机模式(无Hadoop的)? 下面是我的code,我想知道如何使它发挥作用。我应该设置一些属性变量'配置'? 我有这些本地安装:HBase的-0.98.0的Hadoop 2.2.0 进口java.io.IOException异常;进口org.apache.hadoop.conf.Configuration; 进口org.apache.hadoo ..
发布时间:2016-05-23 22:07:06 Java开发

如果HBase的要在客户端安装?是sqoop的API?是钻了一个API?

我已经做了关于Hadoop的一些研究中,我还需要知道答案以下几个问题: 我觉得HBase的不是的Hadoop的核心组成部分,因此,作为一个客户,我该怎么办? 是Sqoop的API?如果是,它在Java中实现?我们应该在客户端安装? 是钻也是一种API?如果是,它在Java中实现?我们应该在客户端安装? 是一个星火高级语言?我们应该在客户端安装? 感谢您。 解决方案 我觉得 ..
发布时间:2016-05-22 16:49:50 其他开发

火花写数据分流到HBase的与Python封锁saveAsNewAPIHadoopDataset

我使用的火花流蟒蛇读卡夫卡和写入HBase的,我发现saveAsNewAPIHadoopDataset阶段很容易被堵塞的工作。正如下面的图片: 你会发现时间是这个舞台上8个小时。通过HBase的API并火花写数据或直接写信通过HDFS API吗? 解决方案 一个有点晚了,但这里是一个类似的例子 要保存RDD HBase的:搜索结果 考虑包含一行的RDD: {“ID”:3,“名”: ..
发布时间:2016-05-22 16:48:10 其他开发

PySpark:可以saveAsNewAPIHadoopDataset()作为批量加​​载到HBase的?

我们目前使用saveAsNewAPIHadoopDataset导入数据通过星火RDDS(pyspark)HBase的表()。 通过MA preduce使用HBase的批量加载功能这个功能呢?换句话说,将saveAsNewAPIHadoopDataset(),它直接导入到HBase的,相当于用saveAsNewAPIHadoopFile()写Hfiles到HDFS,然后调用org.apache.h ..
发布时间:2016-05-22 16:16:40 Python

火花提交找不到类 - htrace

我试图使用运行命令行星火例如code HBaseTest火花,而不是提交运行的例子,在这种情况下,我可以学到更多如何运行一般的火花code。 不过,因为我使用CDH5.4告诉我关于htrace CLASS_NOT_FOUND。我成功地位于htrace jar文件,但我有一个很难将其添加到路径。 这是最后的火花提交命令我有,但仍然有类未找到错误。谁能帮助我? #!/斌/庆典 出口SPARK_H ..
发布时间:2016-05-22 16:08:03 其他开发

写在HBase的火花的工作:与存在的类型一个难题

我试图写一个星火作业应该把它的输出到HBase的。至于我可以告诉大家,这样做的正确方法是使用方法 saveAsHadoopDataset 在 org.apache.spark.rdd.PairRDDFunctions - 这需要我的 RDD 是由对 该方法 saveAsHadoopDataset 要求 JobConf ,而这正是我试图构建。据此链接,有一件事我有在设置我的 JobConf 是输出 ..
发布时间:2016-05-22 15:56:00 其他开发

通过星火写入HBase的:任务不序列化

我试图用星火1.0 HBase的(0.96.0-hadoop2)写一些简单的数据,但我不断收到越来越序列化的问题。下面是相关code: 进口org.apache.hadoop.hbase.client._ 进口org.apache.hadoop.hbase.io.ImmutableBytesWritable 进口org.apache.hadoop.hbase.util.Bytes 进口org.a ..
发布时间:2016-05-22 15:52:49 其他开发

如何从火花HBase的表中提取所有数据

我在HBase的一大桌的名字是UserAction,它有三个列族(歌曲,专辑,歌手)。我需要从“歌”列族提取所有数据作为JavaRDD对象。我试试这个code,但它的效率不高。有没有更好的解决办法做到这一点? 静态SparkConf sparkConf =新SparkConf()。setAppName(“测试”)。setMaster( “本地[4]”); 静态JavaSparkC ..
发布时间:2016-05-22 15:50:06 Java开发

使用Java无法连接到HBase的

我试图用Java连接HBase的。只有1个节点,这是我自己的机器。看来我无法成功连接。 下面是我的Java code: 公共类的测试{ 公共静态无效的主要(字串[] args)抛出MasterNotRunningException,ZooKeeperConnectionException,IOException异常,ServiceException { 。SparkConf的con ..
发布时间:2016-05-22 15:48:51 Java开发

HBase的0.96星火v 1.0+

HBASE /火花版本的这种结合似乎是pretty毒性。我花了几个小时试图找到各种MergeStrategy的,将工作,但无济于事。 下面是present build.sbt的核心是: VAL sparkVersion =“1.0.0” // VAL sparkVersion =“1.1.0-快照”VAL hbaseVersion =“0.96.1.1,cdh5.0.2”libraryDep ..
发布时间:2016-05-22 15:34:12 其他开发

如何使用HBase的火花阅读

下面code将从HBase的读取,然后将其转换为JSON结构和皈​​依schemaRDD,但问题是,我使用的List 来存储JSON字符串,然后传递给javaRDD,对主都将载入内存中的数据大约100 GB的数据。什么是加载从HBase的再执行操作的数据,然后将转换为JavaRDD正确的方式。 包hbase_reader; 进口java.io.IOException异常; 的Bean; 进口 ..
发布时间:2016-05-22 15:28:22 其他开发

星火序列化错误

我想学习火花+阶。我想读从HBase的,但没有马preduce。 我创建了一个简单的HBase表 - “测试”,并在它做3手看跌。我想读它通过火花(不HBaseTest它采用MA preduce)。我试图运行外壳以下命令 VAL数=阵列( 新获取(Bytes.toBytes(“ROW1”)), 新获取(Bytes.toBytes(“ROW2”)), 新获取(Bytes.toByt ..
发布时间:2016-05-22 15:26:28 其他开发

星火不能咸菜method_descriptor

我得到这个奇怪的错误消息 15/01/26 13点05分12秒INFO spark.SparkContext:创建广播0从NativeMethodAccessorImpl.java:-2 wholeTextFiles 回溯(最近通话最后一个): 文件“/home/user/inverted-index.py”,线路78,上述<&模块GT; 打印sc.wholeTextFile ..
发布时间:2016-05-22 15:26:25 Python

HBase的集成持有Nutch的抓取数据和Solr

我有一个HBase的数据库保存抓取wikipedia.org的信息。我的机器是亚马逊Wweb服务。 我已经下载了Solr的,我想指数HBASE后的数据我会做搜索就可以了。 我是新来的Solr和HBase的,我该怎么办呢? 解决方案 所有你需要做的是,运行此命令 - 须藤斌/ Nutch的solrindex的http://本地主机:8983 / Solr的/ - 重新索引 但你这样做之前, ..
发布时间:2015-12-01 13:51:54 云存储

编写一个ActiveRecord适配器

我想我自己写的的ActiveRecord适配器为的因为没有HBase的数据库当前存在。不过,我一直在寻找了一段时间在网上,找不到关于如何编写一个ActiveRecord适配器的任何好的资源。你会如何​​去这样做,还是有可以推荐的任何链接? 解决方案 我觉得做最简单的事情是在轨道干线有适配器为MySQL,Postgres的和SQLite,你可以将你的基础适配器上。 abstract_adapte ..
发布时间:2015-11-28 18:41:51 高性能数据库开发

在HBase的马preduce在.NET中使用储蓄?

我可以使用Hadoop的数据流在.NET中使用节约运行在HBase的马preduce工作?还是有从.NET?运行在HBase的马preduce工作任何其他方式 解决方案 我已经成功地做​​到了这一点。所以,答案是肯定的是可以做到的。 ..
发布时间:2015-11-27 11:45:38 C#/.NET