HBase completebulkload返回异常 [英] HBase completebulkload returns exception

问题描述

我试图通过批量加载方法从文本文件（几GB）中快速批量填充HBase表在Hadoop文档中描述。

我创建了一个HFile，我现在想推送到我的HBase表。

当我使用这个命令时：

  hadoop jar / home / hxcaine / hadoop / lib / hbase.jar completebulkload / user / hxcaine / dbpopulate / output / cf1 my_hbase_table 
  

作业开始，然后我得到这个异常：

 线程main中的异常java.lang.NoClassDefFoundError：com / google /公共/ UTIL /并发/ ThreadFactoryBuilder 
。在org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad（LoadIncrementalHFiles.java:195）
。在org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.run （LoadIncrementalHFiles.java:696）
在org.apache.hadoop.util.ToolRunner.run（ToolRu nner.java:65）
处org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.main（LoadIncrementalHFiles org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:79）
。 Java的：在sun.reflect.DelegatingMethodAccessorImpl在sun.reflect.NativeMethodAccessorImpl.invoke在sun.reflect.NativeMethodAccessorImpl.invoke0 701）
（本机方法）
（NativeMethodAccessorImpl.java:39）
。在调用在org.apache.hadoop.util.ProgramDriver $ ProgramDescription.invoke java.lang.reflect.Method.invoke（Method.java:597）
（DelegatingMethodAccessorImpl.java:25）
（ProgramDriver。 
 at org.apache.hadoop.util.ProgramDriver.driver（ProgramDriver.java:139）
 at org.apache.hadoop.hbase.mapreduce.Driver.main（Driver.java： 49）
。在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:39 
）
。在sun.reflect.Dele gatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:25）
在java.lang.reflect.Method.invoke（Method.java:597）
在org.apache.hadoop.util.RunJar.main（RunJar。 java：197）
由java.net.URLClassLoader导致：java.lang.ClassNotFoundException：com.google.common.util.concurrent.ThreadFactoryBuilder 
 $ 1.run（URLClassLoader.java:202）$ b $ java.util.AccessController.doPrivileged（Native Method）$ b $ java.net.URLClassLoader.findClass（URLClassLoader.java:190）$ b $ java.util.ClassLoader.loadClass（ClassLoader.java： 307）
 at sun.misc.Launcher $ AppClassLoader.loadClass（Launcher.java:301）
 at java.lang.ClassLoader.loadClass（ClassLoader.java:248）
 ... 17更多
  

但是，我可以看到Guava jar在我的classpath中，当我在jar中查看时我可以看到 ThreadFactoryBuilder.class 。

我正在使用这些版本与他们）：

• Hadoop 0.20.2-cdh3u3


• HBase 0.90.4-cdh3u3


• 番石榴罐子：/usr/lib/hadoop-0.20/lib/guava-r09-jarjar.jar
  

我的classpath中有一个较老的Guava jar，但我不知道它来自哪里，我不认为它应该有效。

任何想法？

解决方案

如果您运行：

  export HADOOP_CLASSPATH =`hbase classpath` 
  

运行负载之前？从堆栈跟踪看，它看起来像是实际任务之一所需的jar，尽管我很惊讶地发现这实际上启动了M / R作业。

I am trying to bulk-populate an HBase table quickly from a text file (several GB) by using the bulk loading method described in the Hadoop docs.

I have created an HFile which I now want to push to my HBase table.

When I use this command:

hadoop jar /home/hxcaine/hadoop/lib/hbase.jar completebulkload /user/hxcaine/dbpopulate/output/cf1 my_hbase_table

The job starts and then I get this exception:

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/util/concurrent/ThreadFactoryBuilder
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:195)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.run(LoadIncrementalHFiles.java:696)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
        at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.main(LoadIncrementalHFiles.java:701)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
        at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
        at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:49)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:197)
Caused by: java.lang.ClassNotFoundException: com.google.common.util.concurrent.ThreadFactoryBuilder
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
        ... 17 more

However, I can see that the Guava jar is in my classpath and when I check inside the jar I can see ThreadFactoryBuilder.class.

I am using these versions (and stuck with them):

• Hadoop 0.20.2-cdh3u3
• HBase 0.90.4-cdh3u3
• Guava jar: /usr/lib/hadoop-0.20/lib/guava-r09-jarjar.jar

I do have an older Guava jar in my classpath but I don't know where it came from, I don't suppose it should have an effect.

Any ideas?

解决方案

what happens if you run:

export HADOOP_CLASSPATH=`hbase classpath`

before running the load? From the stack trace, it looks like the jar is needed by one of the actual tasks though I am surprised to see that this actually kicks off an M/R job.

这篇关于HBase completebulkload返回异常的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！