hbase相关内容
我如何使用与C#/ VB.NET一个HBase的数据库? (使用=连接,查询,得到的结果,插入,更新,删除) 我不觉得与谷歌有用的答案。 解决方案 我刚刚发布HBase的C#节俭结合作为的NuGet包。 或者你可以抓住从到位桶代码/二进制文件: https://bitbucket.org/vadim / HBase的锐利/下载
..
我想运行HBase的。我已经完全安装Hadoop和当我运行 start-all.sh ,它工作正常,并给了我这样的输出: hduser @ CSLAP106:在/ usr /本地/ Hadoop的/ bin中$ JPS 11956 SecondaryNameNode 12046的JobTracker 12193的TaskTracker 11800的DataNode 11656的NameNode
..
我可以使用Java API连接到HBase的以单机模式(无Hadoop的)? 下面是我的code,我想知道如何使它发挥作用。我应该设置一些属性变量'配置'? 我有这些本地安装:HBase的-0.98.0的Hadoop 2.2.0 进口java.io.IOException异常;进口org.apache.hadoop.conf.Configuration; 进口org.apache.hadoo
..
我已经做了关于Hadoop的一些研究中,我还需要知道答案以下几个问题: 我觉得HBase的不是的Hadoop的核心组成部分,因此,作为一个客户,我该怎么办? 是Sqoop的API?如果是,它在Java中实现?我们应该在客户端安装? 是钻也是一种API?如果是,它在Java中实现?我们应该在客户端安装? 是一个星火高级语言?我们应该在客户端安装? 感谢您。 解决方案 我觉得
..
我使用的火花流蟒蛇读卡夫卡和写入HBase的,我发现saveAsNewAPIHadoopDataset阶段很容易被堵塞的工作。正如下面的图片: 你会发现时间是这个舞台上8个小时。通过HBase的API并火花写数据或直接写信通过HDFS API吗? 解决方案 一个有点晚了,但这里是一个类似的例子 要保存RDD HBase的:搜索结果 考虑包含一行的RDD: {“ID”:3,“名”:
..
我们目前使用saveAsNewAPIHadoopDataset导入数据通过星火RDDS(pyspark)HBase的表()。 通过MA preduce使用HBase的批量加载功能这个功能呢?换句话说,将saveAsNewAPIHadoopDataset(),它直接导入到HBase的,相当于用saveAsNewAPIHadoopFile()写Hfiles到HDFS,然后调用org.apache.h
..
我试图使用运行命令行星火例如code HBaseTest火花,而不是提交运行的例子,在这种情况下,我可以学到更多如何运行一般的火花code。 不过,因为我使用CDH5.4告诉我关于htrace CLASS_NOT_FOUND。我成功地位于htrace jar文件,但我有一个很难将其添加到路径。 这是最后的火花提交命令我有,但仍然有类未找到错误。谁能帮助我? #!/斌/庆典 出口SPARK_H
..
我试图写一个星火作业应该把它的输出到HBase的。至于我可以告诉大家,这样做的正确方法是使用方法 saveAsHadoopDataset 在 org.apache.spark.rdd.PairRDDFunctions - 这需要我的 RDD 是由对 该方法 saveAsHadoopDataset 要求 JobConf ,而这正是我试图构建。据此链接,有一件事我有在设置我的 JobConf 是输出
..
我试图用星火1.0 HBase的(0.96.0-hadoop2)写一些简单的数据,但我不断收到越来越序列化的问题。下面是相关code: 进口org.apache.hadoop.hbase.client._ 进口org.apache.hadoop.hbase.io.ImmutableBytesWritable 进口org.apache.hadoop.hbase.util.Bytes 进口org.a
..
我在HBase的一大桌的名字是UserAction,它有三个列族(歌曲,专辑,歌手)。我需要从“歌”列族提取所有数据作为JavaRDD对象。我试试这个code,但它的效率不高。有没有更好的解决办法做到这一点? 静态SparkConf sparkConf =新SparkConf()。setAppName(“测试”)。setMaster( “本地[4]”); 静态JavaSparkC
..
我试图用Java连接HBase的。只有1个节点,这是我自己的机器。看来我无法成功连接。 下面是我的Java code: 公共类的测试{ 公共静态无效的主要(字串[] args)抛出MasterNotRunningException,ZooKeeperConnectionException,IOException异常,ServiceException { 。SparkConf的con
..
我有以下的命令行启动火花流作业。 火花提交--class com.biz.test \\ --packages \\ org.apache.spark:火花流-kafka_2.10:1.3.0 \\ org.apache.hbase:HBase的常见:1.0.0 \\ org.
..
HBASE /火花版本的这种结合似乎是pretty毒性。我花了几个小时试图找到各种MergeStrategy的,将工作,但无济于事。 下面是present build.sbt的核心是: VAL sparkVersion =“1.0.0” // VAL sparkVersion =“1.1.0-快照”VAL hbaseVersion =“0.96.1.1,cdh5.0.2”libraryDep
..
下面code将从HBase的读取,然后将其转换为JSON结构和皈依schemaRDD,但问题是,我使用的List 来存储JSON字符串,然后传递给javaRDD,对主都将载入内存中的数据大约100 GB的数据。什么是加载从HBase的再执行操作的数据,然后将转换为JavaRDD正确的方式。 包hbase_reader; 进口java.io.IOException异常; 的Bean; 进口
..
我想学习火花+阶。我想读从HBase的,但没有马preduce。 我创建了一个简单的HBase表 - “测试”,并在它做3手看跌。我想读它通过火花(不HBaseTest它采用MA preduce)。我试图运行外壳以下命令 VAL数=阵列( 新获取(Bytes.toBytes(“ROW1”)), 新获取(Bytes.toBytes(“ROW2”)), 新获取(Bytes.toByt
..
我得到这个奇怪的错误消息 15/01/26 13点05分12秒INFO spark.SparkContext:创建广播0从NativeMethodAccessorImpl.java:-2 wholeTextFiles 回溯(最近通话最后一个): 文件“/home/user/inverted-index.py”,线路78,上述<&模块GT; 打印sc.wholeTextFile
..
我安装的的Hadoop 蜂巢 HBase的 Sqoop 并添加他们到PATH。 当我尝试执行 sqoop 命令,我得到这个错误: 错误:无法找到或加载主类org.apache.sqoop.Sqoop 开发环境: 操作系统:Ubuntu的12.04 64位 的Hadoop版本:1.0.4 蜂巢版本:0.9.0 HBase的版本:0.94.5 Sqoop版本:1.4.3 解决
..
我有一个HBase的数据库保存抓取wikipedia.org的信息。我的机器是亚马逊Wweb服务。 我已经下载了Solr的,我想指数HBASE后的数据我会做搜索就可以了。 我是新来的Solr和HBase的,我该怎么办呢? 解决方案 所有你需要做的是,运行此命令 - 须藤斌/ Nutch的solrindex的http://本地主机:8983 / Solr的/ - 重新索引 但你这样做之前,
..
我想我自己写的的ActiveRecord适配器为的因为没有HBase的数据库当前存在。不过,我一直在寻找了一段时间在网上,找不到关于如何编写一个ActiveRecord适配器的任何好的资源。你会如何去这样做,还是有可以推荐的任何链接? 解决方案 我觉得做最简单的事情是在轨道干线有适配器为MySQL,Postgres的和SQLite,你可以将你的基础适配器上。 abstract_adapte
..
我可以使用Hadoop的数据流在.NET中使用节约运行在HBase的马preduce工作?还是有从.NET?运行在HBase的马preduce工作任何其他方式 解决方案 我已经成功地做到了这一点。所以,答案是肯定的是可以做到的。
..