与MASTER =纱线集群中运行HiveFromSpark例子 [英] Run HiveFromSpark example with MASTER=yarn-cluster
本文介绍了与MASTER =纱线集群中运行HiveFromSpark例子的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我试图运行<一个href=\"https://github.com/apache/spark/blob/v1.3.0/examples/src/main/scala/org/apache/spark/examples/sql/hive/HiveFromSpark.scala\"相对=nofollow> HiveFromSpark 的例子我EMR星火/蜂巢星团。
问题
使用纱的客户端：
〜/火花/斌/火花提交--master纱客户--num-执行人= 19 --class org.apache.spark.examples.sql.hive.HiveFromSpark 〜/火花/ lib目录/火花例子-1.3.0-hadoop2.4.0.jar
就像一个魅力。但是，使用纱线集群：
〜/火花/斌/火花提交--master纱线集群--num-执行人= 19 --class org.apache.spark.examples.sql.hive.HiveFromSpark 〜/火花/ lib目录/火花例子-1.3.0-hadoop2.4.0.jar
失败：
异常线程mainorg.apache.spark.SparkException：应用程序完成与失败状态
在org.apache.spark.deploy.yarn.Client.run（Client.scala：622）
在org.apache.spark.deploy.yarn.Client $。主要（Client.scala：647）
在org.apache.spark.deploy.yarn.Client.main（Client.scala）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)
在org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1（SparkSubmit.scala：166）
在org.apache.spark.deploy.SparkSubmit $ .submit（SparkSubmit.scala：189）
在org.apache.spark.deploy.SparkSubmit $。主要（SparkSubmit.scala：110）
在org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）
和在资源管理器的错误信息说：
User类抛出异常：了java.lang.RuntimeException：无法实例org.apache.hadoop.hive.metastore.HiveMetaStoreClient
完整的日志：
15/04/15 12点02分14秒WARN DataNucleus.Persistence：错误创建类型org.datanucleus.properties.CorePropertyValidator的验证
ClassLoaderResolver类，给了错误的创建：{1}
org.datanucleus.exceptions.NucleusUserException：ClassLoaderResolver类，介绍了创建错误：{1}
在org.datanucleus.NucleusContext.getClassLoaderResolver（NucleusContext.java:1087）
在org.datanucleus.PersistenceConfiguration.validatePropertyValue（PersistenceConfiguration.java:797）
在org.datanucleus.PersistenceConfiguration.setProperty（PersistenceConfiguration.java:714）
在org.datanucleus.PersistenceConfiguration.setPersistenceProperties（PersistenceConfiguration.java:693）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:273）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:247）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:225）
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:416)
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:301)
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在javax.jdo.JDOHelper $ 16.run（JDOHelper.java:1965）
在java.security.AccessController.doPrivileged（本机方法）
在javax.jdo.JDOHelper.invoke（JDOHelper.java:1960）
在javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation（JDOHelper.java:1166）
在javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:808）
在javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:701）
在org.apache.hadoop.hive.metastore.ObjectStore.getPMF（ObjectStore.java:310）
在org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager（ObjectStore.java:339）
在org.apache.hadoop.hive.metastore.ObjectStore.initialize（ObjectStore.java:248）
在org.apache.hadoop.hive.metastore.ObjectStore.setConf（ObjectStore.java:223）
在org.apache.hadoop.util.ReflectionUtils.setConf（ReflectionUtils.java:73）
在org.apache.hadoop.util.ReflectionUtils.newInstance（ReflectionUtils.java:133）
在org.apache.hadoop.hive.metastore.RawStoreProxy＆LT;＆初始化GT;（RawStoreProxy.java:58）
在org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy（RawStoreProxy.java:67）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.newRawStore（HiveMetaStore.java:497）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.getMS（HiveMetaStore.java:475）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.createDefaultDB（HiveMetaStore.java:523）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.init（HiveMetaStore.java:397）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler＆LT;＆初始化GT;（HiveMetaStore.java:356）
在org.apache.hadoop.hive.metastore.RetryingHMSHandler＆LT;＆初始化GT;（RetryingHMSHandler.java:54）
在org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy（RetryingHMSHandler.java:59）
在org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler（HiveMetaStore.java:4944）
在org.apache.hadoop.hive.metastore.HiveMetaStoreClient＆LT;＆初始化GT;（HiveMetaStoreClient.java:171）
在sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
在sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:57）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
在java.lang.reflect.Constructor.newInstance（Constructor.java:526）
在org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1410）
在org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:62)
在org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy（RetryingMetaStoreClient.java:72）
在org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient（Hive.java:2453）
在org.apache.hadoop.hive.ql.metadata.Hive.getMSC（Hive.java:2465）
在org.apache.hadoop.hive.ql.session.SessionState.start（SessionState.java:340）
在org.apache.spark.sql.hive.HiveContext.sessionState $ lzycompute（HiveContext.scala：229）
在org.apache.spark.sql.hive.HiveContext.sessionState（HiveContext.scala：225）
在org.apache.spark.sql.hive.HiveContext.hiveconf $ lzycompute（HiveContext.scala：241）
在org.apache.spark.sql.hive.HiveContext.hiveconf（HiveContext.scala：240）
在org.apache.spark.sql.hive.HiveContext.sql（HiveContext.scala：86）
在org.apache.spark.examples.sql.hive.HiveFromSpark $。主要（HiveFromSpark.scala：49）
在org.apache.spark.examples.sql.hive.HiveFromSpark.main（HiveFromSpark.scala）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在org.apache.spark.deploy.yarn.ApplicationMaster $$不久$ 2.run（ApplicationMaster.scala：480）
显示java.lang.NullPointerException：产生的原因
在org.datanucleus.NucleusContext.getClassLoaderResolver（NucleusContext.java:1079）
... 58更多
嵌套将Throwable堆栈跟踪：
显示java.lang.NullPointerException
在org.datanucleus.NucleusContext.getClassLoaderResolver（NucleusContext.java:1079）
在org.datanucleus.PersistenceConfiguration.validatePropertyValue（PersistenceConfiguration.java:797）
在org.datanucleus.PersistenceConfiguration.setProperty（PersistenceConfiguration.java:714）
在org.datanucleus.PersistenceConfiguration.setPersistenceProperties（PersistenceConfiguration.java:693）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:273）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:247）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:225）
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:416)
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:301)
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在javax.jdo.JDOHelper $ 16.run（JDOHelper.java:1965）
在java.security.AccessController.doPrivileged（本机方法）
在javax.jdo.JDOHelper.invoke（JDOHelper.java:1960）
在javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation（JDOHelper.java:1166）
在javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:808）
在javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:701）
在org.apache.hadoop.hive.metastore.ObjectStore.getPMF（ObjectStore.java:310）
在org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager（ObjectStore.java:339）
在org.apache.hadoop.hive.metastore.ObjectStore.initialize（ObjectStore.java:248）
在org.apache.hadoop.hive.metastore.ObjectStore.setConf（ObjectStore.java:223）
在org.apache.hadoop.util.ReflectionUtils.setConf（ReflectionUtils.java:73）
在org.apache.hadoop.util.ReflectionUtils.newInstance（ReflectionUtils.java:133）
在org.apache.hadoop.hive.metastore.RawStoreProxy＆LT;＆初始化GT;（RawStoreProxy.java:58）
在org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy（RawStoreProxy.java:67）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.newRawStore（HiveMetaStore.java:497）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.getMS（HiveMetaStore.java:475）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.createDefaultDB（HiveMetaStore.java:523）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.init（HiveMetaStore.java:397）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler＆LT;＆初始化GT;（HiveMetaStore.java:356）
在org.apache.hadoop.hive.metastore.RetryingHMSHandler＆LT;＆初始化GT;（RetryingHMSHandler.java:54）
在org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy（RetryingHMSHandler.java:59）
在org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler（HiveMetaStore.java:4944）
在org.apache.hadoop.hive.metastore.HiveMetaStoreClient＆LT;＆初始化GT;（HiveMetaStoreClient.java:171）
在sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
在sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:57）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
在java.lang.reflect.Constructor.newInstance（Constructor.java:526）
在org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1410）
在org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:62)
在org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy（RetryingMetaStoreClient.java:72）
在org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient（Hive.java:2453）
在org.apache.hadoop.hive.ql.metadata.Hive.getMSC（Hive.java:2465）
在org.apache.hadoop.hive.ql.session.SessionState.start（SessionState.java:340）
在org.apache.spark.sql.hive.HiveContext.sessionState $ lzycompute（HiveContext.scala：229）
在org.apache.spark.sql.hive.HiveContext.sessionState（HiveContext.scala：225）
在org.apache.spark.sql.hive.HiveContext.hiveconf $ lzycompute（HiveContext.scala：241）
在org.apache.spark.sql.hive.HiveContext.hiveconf（HiveContext.scala：240）
在org.apache.spark.sql.hive.HiveContext.sql（HiveContext.scala：86）
在org.apache.spark.examples.sql.hive.HiveFromSpark $。主要（HiveFromSpark.scala：49）
在org.apache.spark.examples.sql.hive.HiveFromSpark.main（HiveFromSpark.scala）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在org.apache.spark.deploy.yarn.ApplicationMaster $$不久$ 2.run（ApplicationMaster.scala：480）
15/04/15 12点02分14秒错误yarn.ApplicationMaster：用户级抛出异常：了java.lang.RuntimeException：无法实例org.apache.hadoop.hive.metastore。 HiveMetaStoreClient
了java.lang.RuntimeException：了java.lang.RuntimeException：无法实例org.apache.hadoop.hive.metastore.HiveMetaStoreClient
在org.apache.hadoop.hive.ql.session.SessionState.start（SessionState.java:346）
在org.apache.spark.sql.hive.HiveContext.sessionState $ lzycompute（HiveContext.scala：229）
在org.apache.spark.sql.hive.HiveContext.sessionState（HiveContext.scala：225）
在org.apache.spark.sql.hive.HiveContext.hiveconf $ lzycompute（HiveContext.scala：241）
在org.apache.spark.sql.hive.HiveContext.hiveconf（HiveContext.scala：240）
在org.apache.spark.sql.hive.HiveContext.sql（HiveContext.scala：86）
在org.apache.spark.examples.sql.hive.HiveFromSpark $。主要（HiveFromSpark.scala：49）
在org.apache.spark.examples.sql.hive.HiveFromSpark.main（HiveFromSpark.scala）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在org.apache.spark.deploy.yarn.ApplicationMaster $$不久$ 2.run（ApplicationMaster.scala：480）
了java.lang.RuntimeException：引起无法实例org.apache.hadoop.hive.metastore.HiveMetaStoreClient
在org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1412）
在org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:62)
在org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy（RetryingMetaStoreClient.java:72）
在org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient（Hive.java:2453）
在org.apache.hadoop.hive.ql.metadata.Hive.getMSC（Hive.java:2465）
在org.apache.hadoop.hive.ql.session.SessionState.start（SessionState.java:340）
... 12更多
java.lang.reflect.InvocationTargetException：产生的原因
在sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
在sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:57）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
在java.lang.reflect.Constructor.newInstance（Constructor.java:526）
在org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance（MetaStoreUtils.java:1410）
... 17个
javax.jdo.JDOFatalInternalException：引起意外的异常捕获。
NestedThrowables：
java.lang.reflect.InvocationTargetException
在javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation（JDOHelper.java:1193）
在javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:808）
在javax.jdo.JDOHelper.getPersistenceManagerFactory（JDOHelper.java:701）
在org.apache.hadoop.hive.metastore.ObjectStore.getPMF（ObjectStore.java:310）
在org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager（ObjectStore.java:339）
在org.apache.hadoop.hive.metastore.ObjectStore.initialize（ObjectStore.java:248）
在org.apache.hadoop.hive.metastore.ObjectStore.setConf（ObjectStore.java:223）
在org.apache.hadoop.util.ReflectionUtils.setConf（ReflectionUtils.java:73）
在org.apache.hadoop.util.ReflectionUtils.newInstance（ReflectionUtils.java:133）
在org.apache.hadoop.hive.metastore.RawStoreProxy＆LT;＆初始化GT;（RawStoreProxy.java:58）
在org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy（RawStoreProxy.java:67）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.newRawStore（HiveMetaStore.java:497）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.getMS（HiveMetaStore.java:475）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.createDefaultDB（HiveMetaStore.java:523）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler.init（HiveMetaStore.java:397）
在org.apache.hadoop.hive.metastore.HiveMetaStore $ HMSHandler＆LT;＆初始化GT;（HiveMetaStore.java:356）
在org.apache.hadoop.hive.metastore.RetryingHMSHandler＆LT;＆初始化GT;（RetryingHMSHandler.java:54）
在org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy（RetryingHMSHandler.java:59）
在org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler（HiveMetaStore.java:4944）
在org.apache.hadoop.hive.metastore.HiveMetaStoreClient＆LT;＆初始化GT;（HiveMetaStoreClient.java:171）
... 22个
java.lang.reflect.InvocationTargetException：产生的原因
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
在java.lang.reflect.Method.invoke（Method.java:606）
在javax.jdo.JDOHelper $ 16.run（JDOHelper.java:1965）
在java.security.AccessController.doPrivileged（本机方法）
在javax.jdo.JDOHelper.invoke（JDOHelper.java:1960）
在javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation（JDOHelper.java:1166）
...... 41多
org.datanucleus.exceptions.NucleusUserException：引起持续性的过程已被指定使用的名称为DataNucleus的一ClassLoaderResolver然而，这并没有被DataNucleus的插件机制发现。请检查您的CLASSPATH和插件规范。
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:283）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:247）
在org.datanucleus.NucleusContext＆LT;＆初始化GT;（NucleusContext.java:225）
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:416)
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:301)
在org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
... 49更多
15/04/15 12点02分14秒INFO yarn.ApplicationMaster：最终应用状态：失败，退出code：15，（原因：用户级抛出异常：了java.lang.RuntimeException：无法实例org.apache。 hadoop.hive.metastore.HiveMetaStoreClient）
群集设置
EMR配置
我的设置与集群安装星火（S3：//support.elasticma$p$pduce/spark/install-spark）引导行动和设置蜂巢一步。
JAR位置：S3：//elasticma$p$pduce/libs/script-runner/script-runner.jar
主类：无
参数：S3：// elasticma preduce /库/蜂巢/蜂巢脚本--base路径S3：// elasticma preduce /库/蜂巢/ --install-蜂巢--hive版本0.13。 1
软件版本
的Hadoop版本
的Hadoop 2.4.0-AMZN-3
颠覆http://aws.amazon.com/elasticma$p$pduce/ -r d99c64d21bf338dcdd524bd08d7c393b6d1ac1d8
通过弹性马编译preduce上2015-02-11T20：22Z
与protoc 2.5.0编译
从校验6c725ed23b3ecb95921fe461587fccf源
该命令使用/home/hadoop/.versions/2.4.0-amzn-3/share/hadoop/common/hadoop-common-2.4.0-amzn-3.jar运行
星火版
星火1.3.0 Hadoop的内置2.4.0
建立标志：-Pyarn -Phadoop-2.4 -Dhadoop.version = 2.4.0 -DskipTests -Pkinesis-ASL -Pspark - 神经节，LGPL -Phadoop提供-Phive -Phive，thriftserver
解决方案
添加使用--jars选项DataNucleus的罐子，当你提交，并添加蜂巢-site.xml中的驱动程序类路径，以便火花可以阅读蜂巢配置。
--jars spark/lib_managed/jars/datanucleus-api-jdo-3.2.6.jar,spark/lib_managed/jars/datanucleus-rdbms-3.2.9.jar,spark/lib_managed/jars/datanucleus-core-3.2.10.jar,spark/mysql-connector-java-5.0.8-bin.jar --files蜂巢/ conf目录/蜂房的site.xml
I'm trying to run HiveFromSpark example on my EMR Spark/Hive cluster.
The Problem
Using yarn-client:
~/spark/bin/spark-submit --master yarn-client --num-executors=19 --class org.apache.spark.examples.sql.hive.HiveFromSpark ~/spark/lib/spark-examples-1.3.0-hadoop2.4.0.jar
works like a charm. But, using yarn-cluster:
~/spark/bin/spark-submit --master yarn-cluster --num-executors=19 --class org.apache.spark.examples.sql.hive.HiveFromSpark ~/spark/lib/spark-examples-1.3.0-hadoop2.4.0.jar
fails with:
Exception in thread "main" org.apache.spark.SparkException: Application finished with failed status
at org.apache.spark.deploy.yarn.Client.run(Client.scala:622)
at org.apache.spark.deploy.yarn.Client$.main(Client.scala:647)
at org.apache.spark.deploy.yarn.Client.main(Client.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
and the error message in Resource Manager says:
User class threw exception: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
Full log:
15/04/15 12:02:14 WARN DataNucleus.Persistence: Error creating validator of type org.datanucleus.properties.CorePropertyValidator
ClassLoaderResolver for class "" gave error on creation : {1}
org.datanucleus.exceptions.NucleusUserException: ClassLoaderResolver for class "" gave error on creation : {1}
at org.datanucleus.NucleusContext.getClassLoaderResolver(NucleusContext.java:1087)
at org.datanucleus.PersistenceConfiguration.validatePropertyValue(PersistenceConfiguration.java:797)
at org.datanucleus.PersistenceConfiguration.setProperty(PersistenceConfiguration.java:714)
at org.datanucleus.PersistenceConfiguration.setPersistenceProperties(PersistenceConfiguration.java:693)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:273)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:247)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:225)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:416)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:301)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965)
at java.security.AccessController.doPrivileged(Native Method)
at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960)
at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)
at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:310)
at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:339)
at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:248)
at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:223)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:58)
at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:67)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:497)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:475)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:523)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:397)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.<init>(HiveMetaStore.java:356)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:54)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:59)
at org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4944)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:171)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1410)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:62)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:72)
at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2453)
at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2465)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:340)
at org.apache.spark.sql.hive.HiveContext.sessionState$lzycompute(HiveContext.scala:229)
at org.apache.spark.sql.hive.HiveContext.sessionState(HiveContext.scala:225)
at org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:241)
at org.apache.spark.sql.hive.HiveContext.hiveconf(HiveContext.scala:240)
at org.apache.spark.sql.hive.HiveContext.sql(HiveContext.scala:86)
at org.apache.spark.examples.sql.hive.HiveFromSpark$.main(HiveFromSpark.scala:49)
at org.apache.spark.examples.sql.hive.HiveFromSpark.main(HiveFromSpark.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:480)
Caused by: java.lang.NullPointerException
at org.datanucleus.NucleusContext.getClassLoaderResolver(NucleusContext.java:1079)
... 58 more
Nested Throwables StackTrace:
java.lang.NullPointerException
at org.datanucleus.NucleusContext.getClassLoaderResolver(NucleusContext.java:1079)
at org.datanucleus.PersistenceConfiguration.validatePropertyValue(PersistenceConfiguration.java:797)
at org.datanucleus.PersistenceConfiguration.setProperty(PersistenceConfiguration.java:714)
at org.datanucleus.PersistenceConfiguration.setPersistenceProperties(PersistenceConfiguration.java:693)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:273)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:247)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:225)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:416)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:301)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965)
at java.security.AccessController.doPrivileged(Native Method)
at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960)
at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)
at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:310)
at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:339)
at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:248)
at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:223)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:58)
at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:67)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:497)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:475)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:523)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:397)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.<init>(HiveMetaStore.java:356)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:54)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:59)
at org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4944)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:171)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1410)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:62)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:72)
at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2453)
at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2465)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:340)
at org.apache.spark.sql.hive.HiveContext.sessionState$lzycompute(HiveContext.scala:229)
at org.apache.spark.sql.hive.HiveContext.sessionState(HiveContext.scala:225)
at org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:241)
at org.apache.spark.sql.hive.HiveContext.hiveconf(HiveContext.scala:240)
at org.apache.spark.sql.hive.HiveContext.sql(HiveContext.scala:86)
at org.apache.spark.examples.sql.hive.HiveFromSpark$.main(HiveFromSpark.scala:49)
at org.apache.spark.examples.sql.hive.HiveFromSpark.main(HiveFromSpark.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:480)
15/04/15 12:02:14 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore. HiveMetaStoreClient
java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:346)
at org.apache.spark.sql.hive.HiveContext.sessionState$lzycompute(HiveContext.scala:229)
at org.apache.spark.sql.hive.HiveContext.sessionState(HiveContext.scala:225)
at org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:241)
at org.apache.spark.sql.hive.HiveContext.hiveconf(HiveContext.scala:240)
at org.apache.spark.sql.hive.HiveContext.sql(HiveContext.scala:86)
at org.apache.spark.examples.sql.hive.HiveFromSpark$.main(HiveFromSpark.scala:49)
at org.apache.spark.examples.sql.hive.HiveFromSpark.main(HiveFromSpark.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:480)
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1412)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:62)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:72)
at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2453)
at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2465)
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:340)
... 12 more
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1410)
... 17 more
Caused by: javax.jdo.JDOFatalInternalException: Unexpected exception caught.
NestedThrowables:
java.lang.reflect.InvocationTargetException
at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1193)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)
at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)
at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:310)
at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:339)
at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:248)
at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:223)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:58)
at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:67)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:497)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:475)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:523)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:397)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.<init>(HiveMetaStore.java:356)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:54)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:59)
at org.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4944)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:171)
... 22 more
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965)
at java.security.AccessController.doPrivileged(Native Method)
at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960)
at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166)
... 41 more
Caused by: org.datanucleus.exceptions.NucleusUserException: Persistence process has been specified to use a ClassLoaderResolver of name "datanucleus" yet this has not been found by the DataNucleus plugin mechanism. Please check your CLASSPATH and plugin specification.
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:283)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:247)
at org.datanucleus.NucleusContext.<init>(NucleusContext.java:225)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:416)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:301)
at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
... 49 more
15/04/15 12:02:14 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient)
Cluster Setup
EMR config
I setup the cluster with Install Spark (s3://support.elasticmapreduce/spark/install-spark) bootstrap action and Setup Hive step.
JAR location: s3://elasticmapreduce/libs/script-runner/script-runner.jar
Main class: None
Arguments: s3://elasticmapreduce/libs/hive/hive-script --base-path s3://elasticmapreduce/libs/hive/ --install-hive --hive-versions 0.13.1
Software versions
hadoop version
Hadoop 2.4.0-amzn-3
Subversion http://aws.amazon.com/elasticmapreduce/ -r d99c64d21bf338dcdd524bd08d7c393b6d1ac1d8
Compiled by Elastic MapReduce on 2015-02-11T20:22Z
Compiled with protoc 2.5.0
From source with checksum 6c725ed23b3ecb95921fe461587fccf
This command was run using /home/hadoop/.versions/2.4.0-amzn-3/share/hadoop/common/hadoop-common-2.4.0-amzn-3.jar
Spark version
Spark 1.3.0 built for Hadoop 2.4.0
Build flags: -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests -Pkinesis-asl -Pspark-ganglia-lgpl -Phadoop-provided -Phive -Phive-thriftserver
解决方案
Add the datanucleus jars using --jars option when you submit and also add hive-site.xml to the driver-classpath so that spark can read hive configuration. --jars spark/lib_managed/jars/datanucleus-api-jdo-3.2.6.jar,spark/lib_managed/jars/datanucleus-rdbms-3.2.9.jar,spark/lib_managed/jars/datanucleus-core-3.2.10.jar,spark/mysql-connector-java-5.0.8-bin.jar --files hive/conf/hive-site.xml
这篇关于与MASTER =纱线集群中运行HiveFromSpark例子的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
