什么是此异常火花指 [英] What is means by this exception in spark

查看：258 发布时间：2016/5/22 16:50:30 java apache-spark stanford-nlp

本文介绍了什么是此异常火花指的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

问题描述

16/03/30二十三时23分二十秒WARN TaskSetManager：失落任务1.0级0.0（TID 1，10.208.91.144）：java.lang.NoClassDefFoundError的：EDU /斯坦福/ NLP /株/ TreebankLanguagePack
    在java.lang.Class.getDeclaredFields0（本机方法）
    在java.lang.Class.privateGetDeclaredFields（Class.java:2499）
    在java.lang.Class.getDeclaredField（Class.java:1951）
    在java.io.ObjectStreamClass.getDeclaredSUID（ObjectStreamClass.java:1659）
    在java.io.ObjectStreamClass.access $ 700（ObjectStreamClass.java:72）
    在java.io.ObjectStreamClass中的$ 2.run（ObjectStreamClass.java:480）
    在java.io.ObjectStreamClass中的$ 2.run（ObjectStreamClass.java:468）
    在java.security.AccessController.doPrivileged（本机方法）
    在java.io.ObjectStreamClass中。（ObjectStreamClass.java:468）
    在java.io.ObjectStreamClass.lookup（ObjectStreamClass.java:365）
    在java.io.ObjectStreamClass.initNonProxy（ObjectStreamClass.java:602）
    在java.io.ObjectInputStream.readNonProxyDesc（ObjectInputStream.java:1622）
    在java.io.ObjectInputStream.readClassDesc（ObjectInputStream.java:1517）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1771）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:1990）
    在java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:1915）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1798）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:1990）
    在java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:1915）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1798）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:1990）
    在java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:1915）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1798）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:1990）
    在java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:1915）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1798）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.readObject（ObjectInputStream.java:370）
    。在scala.collection.immutable $结肠$ colon.readObject（List.scala：362）
    在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
    在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）
    在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）
    在java.lang.reflect.Method.invoke（Method.java:606）
    在java.io.ObjectStreamClass.invokeReadObject（ObjectStreamClass.java:1017）
    在java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:1893）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1798）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:1990）
    在java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:1915）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1798）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:1990）
    在java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:1915）
    在java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:1798）
    在java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1350）
    在java.io.ObjectInputStream.readObject（ObjectInputStream.java:370）
    在org.apache.spark.serializer.JavaDeserializationStream.readObject（JavaSerializer.scala：69）
    在org.apache.spark.serializer.JavaSerializerInstance.deserialize（JavaSerializer.scala：95）
    在org.apache.spark.scheduler.ResultTask.runTask（ResultTask.scala：58）
    在org.apache.spark.scheduler.Task.run（Task.scala：70）
    在org.apache.spark.executor.Executor $ TaskRunner.run（Executor.scala：213）
    在java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1145）
    在java.util.concurrent.ThreadPoolExecutor中的$ Worker.run（ThreadPoolExecutor.java:615）
    在java.lang.Thread.run（Thread.java:745）
抛出java.lang.ClassNotFoundException：引起edu.stanford.nlp.trees.TreebankLanguagePack
    在java.net.URLClassLoader的$ 1.run（URLClassLoader.java:366）
    在java.net.URLClassLoader的$ 1.run（URLClassLoader.java:355）
    在java.security.AccessController.doPrivileged（本机方法）
    在java.net.URLClassLoader.findClass（URLClassLoader.java:354）
    在java.lang.ClassLoader.loadClass（ClassLoader.java:425）
    在java.lang.ClassLoader.loadClass（ClassLoader.java:358）
    ... 58多个

16/03/30二十三时23分二十秒INFO TaskSetManager：在第一阶段0.0开始任务1.1（TID 2，10.208.91.144，PROCESS_LOCAL，5942字节）
16/03/30二十三点23分20秒INFO TaskSetManager：对执行人10.208.91.144迷失任务0.0舞台0.0（TID 0）：java.lang.NoClassDefFoundError的（EDU /斯坦福/ NLP /株/ TreebankLanguagePack）[重复1]
16/03/30二十三点23分20秒INFO TaskSetManager：在第一阶段0.0开始任务0.1（TID 3，10.208.91.144，PROCESS_LOCAL，1435字节）
16/03/30二十三点23分20秒WARN TransportChannelHandler：异常从/10.208.91.144:61788连接
java.io.IOException异常：一个现有的连接被强行关闭远程主机
    在sun.nio.ch.SocketDispatcher.read0（本机方法）
    在sun.nio.ch.SocketDispatcher.read（SocketDispatcher.java:43）
    在sun.nio.ch.IOUtil.readIntoNativeBuffer（IOUtil.java:223）
    在sun.nio.ch.IOUtil.read（IOUtil.java:192）
    在sun.nio.ch.SocketChannelImpl.read（SocketChannelImpl.java:380）
    在io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes（PooledUnsafeDirectByteBuf.java:311）
    在io.netty.buffer.AbstractByteBuf.writeBytes（AbstractByteBuf.java:881）
    在io.netty.channel.socket.nio.NioSocketChannel.doReadBytes（NioSocketChannel.java:225）
    在io.netty.channel.nio.AbstractNioByteChannel $ NioByteUnsafe.read（AbstractNioByteChannel.java:119）
    在io.netty.channel.nio.NioEventLoop.processSelectedKey（NioEventLoop.java:511）
    在io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized（NioEventLoop.java:468）
    在io.netty.channel.nio.NioEventLoop.processSelectedKeys（NioEventLoop.java:382）
    在io.netty.channel.nio.NioEventLoop.run（NioEventLoop.java:354）
    在io.netty.util.concurrent.SingleThreadEventExecutor $ 2.run（SingleThreadEventExecutor.java:116）
    在java.lang.Thread.run（Thread.java:745）
16/03/30二十三点23分20秒错误TaskSchedulerImpl：失落的执行人0 10.208.91.144：远程RPC客户端取消关联
16/03/30二十三点23分20秒INFO TaskSetManager：从使用taskset 0.0 0重新排队任务
16/03/30二十三点23分20秒WARN ReliableDeliverySupervisor：协会远程系统[akka.tcp：//sparkExecutor@10.208.91.144：61767]失败，地址选通现为[5000]毫秒。理由是：解除关联。
在第一阶段0.0（TID 2，10.208.91.144）丢失任务1.1：ExecutorLostFailure（0执行人丢失）16/03/30二十三时23分二十秒WARN TaskSetManager
在第一阶段0.0（TID 3，10.208.91.144）丢失任务0.1：ExecutorLostFailure（0执行人丢失）16/03/30二十三时23分二十秒WARN TaskSetManager
16/03/30二十三点23分20秒INFO DAGScheduler：执行人丢失：0（0时代）
16/03/30二十三点23分20秒INFO BlockManagerMasterEndpoint试图从BlockManagerMaster删除执行人0。
16/03/30二十三点23分20秒INFO BlockManagerMasterEndpoint：删除块经理BlockManagerId（0，10.208.91.144，61786）
16/03/30二十三点23分20秒INFO BlockManagerMaster：在removeExecutor成功摘除0
16/03/30二十三点23分20秒INFO $应用程序客户机ClientActor：执行人更新：APP-20160330232314-0002 / 0现在EXITED（命令退出，code 50）
16/03/30二十三点23分20秒INFO SparkDeploySchedulerBackend：执行人APP-20160330232314-0002 /移除0：命令退出，code 50
16/03/30二十三点23分20秒错误SparkDeploySchedulerBackend：要求删除不存在的遗嘱执行人0
16/03/30二十三点23分20秒INFO $应用程序客户机ClientActor：执行人说：APP-20160330232314-0002 / 1工人20160330231130-10.208.91.144-61218（10.208.91.144:61218）4个核心
16/03/30二十三点23分20秒INFO SparkDeploySchedulerBackend：授予执行者ID的应用程序，20160330232314-0002上HOSTPORT 10.208.91.144:61218 / 1 4个核心，512.0 MB RAM
16/03/30二十三点23分20秒INFO $应用程序客户机ClientActor：执行人更新：APP-20160330232314-0002 / 1现在正在运行
16/03/30二十三点23分20秒INFO $应用程序客户机ClientActor：执行人更新：APP-20160330232314-0002 / 1现在是LOADING
16/03/30 23点23分23秒INFO SparkDeploySchedulerBackend：注册执行人：AkkaRpcEndpointRef（演员[akka.tcp：//sparkExecutor@10.208.91.144：61815 /用户/执行器＃-238863041]）ID为1
16/03/30 23点23分23秒INFO TaskSetManager：在第一阶段0.0开始任务0.2（TID 4，10.208.91.144，PROCESS_LOCAL，1435字节）
16/03/30 23点23分23秒INFO TaskSetManager：在第一阶段0.0开始任务1.2（TID 5，10.208.91.144，PROCESS_LOCAL，5942字节）
16/03/30 23点23分24秒INFO BlockManagerMasterEndpoint：注册块管理器10.208.91.144:61834与265.4 MB RAM，BlockManagerId（1 10.208.91.144，61834）
16/03/30 23点23分24秒INFO BlockManagerInfo：新增broadcast_0_piece0在内存上10.208.91.144:61834（尺寸：30.4 KB，自由：265.4 MB）
16/03/30 23点23分24秒INFO TaskSetManager：对执行人10.208.91.144迷失任务1.2级0.0（TID 5）：java.lang.NoClassDefFoundError的（EDU /斯坦福/ NLP /株/ TreebankLanguagePack）[重复2]
16/03/30 23点23分24秒INFO TaskSetManager：在第一阶段0.0开始任务1.3（TID 6，10.208.91.144，PROCESS_LOCAL，5942字节）
16/03/30 23点23分24秒INFO TaskSetManager：对执行人10.208.91.144迷失任务0.2舞台0.0（TID 4）：java.lang.NoClassDefFoundError的（EDU /斯坦福/ NLP /株/ TreebankLanguagePack）[重复3]
16/03/30 23点23分24秒INFO TaskSetManager：在第一阶段0.0开始任务0.3（TID 7，10.208.91.144，PROCESS_LOCAL，1435字节）
16/03/30二十三点23分25秒WARN TransportChannelHandler：异常从/10.208.91.144:61835连接
java.io.IOException异常：一个现有的连接被强行关闭远程主机
    在sun.nio.ch.SocketDispatcher.read0（本机方法）
    在sun.nio.ch.SocketDispatcher.read（SocketDispatcher.java:43）
    在sun.nio.ch.IOUtil.readIntoNativeBuffer（IOUtil.java:223）
    在sun.nio.ch.IOUtil.read（IOUtil.java:192）
    在sun.nio.ch.SocketChannelImpl.read（SocketChannelImpl.java:380）
    在io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes（PooledUnsafeDirectByteBuf.java:311）
    在io.netty.buffer.AbstractByteBuf.writeBytes（AbstractByteBuf.java:881）
    在io.netty.channel.socket.nio.NioSocketChannel.doReadBytes（NioSocketChannel.java:225）
    在io.netty.channel.nio.AbstractNioByteChannel $ NioByteUnsafe.read（AbstractNioByteChannel.java:119）
    在io.netty.channel.nio.NioEventLoop.processSelectedKey（NioEventLoop.java:511）
    在io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized（NioEventLoop.java:468）
    在io.netty.channel.nio.NioEventLoop.processSelectedKeys（NioEventLoop.java:382）
    在io.netty.channel.nio.NioEventLoop.run（NioEventLoop.java:354）
    在io.netty.util.concurrent.SingleThreadEventExecutor $ 2.run（SingleThreadEventExecutor.java:116）
    在java.lang.Thread.run（Thread.java:745）
16/03/30二十三点23分25秒错误TaskSchedulerImpl：失落的遗嘱执行人1上10.208.91.144：远程RPC客户端取消关联
16/03/30二十三点23分25秒INFO TaskSetManager：从使用taskset 0.0 1重新排队任务
在第一阶段0.0（TID 7，10.208.91.144）丢失任务0.3：ExecutorLostFailure（遗嘱执行人1赔）16/03/30 23点23分25秒WARN TaskSetManager
16/03/30二十三点23分25秒WARN ReliableDeliverySupervisor：协会远程系统[akka.tcp：//sparkExecutor@10.208.91.144：61815]失败，地址选通现为[5000]毫秒。理由是：解除关联。
16/03/30二十三点23分25秒错误TaskSetManager：任务0级0.0失败了4倍;中止工作
在第一阶段0.0（TID 6，10.208.91.144）丢失任务1.3：ExecutorLostFailure（遗嘱执行人1赔）16/03/30 23点23分25秒WARN TaskSetManager
16/03/30二十三点23分25秒INFO TaskSchedulerImpl：删除taskset的0.0，其任务已全部建成后，从池
16/03/30二十三点23分25秒INFO TaskSchedulerImpl：取消0期
16/03/30二十三点23分25秒INFO DAGScheduler：ResultStage 0（saveAsTextFile在Polarity.java:62）未能8.085小号
16/03/30二十三点23分25秒INFO DAGScheduler：作业0失败：saveAsTextFile在Polarity.java:62，拿了8.447334小号
16/03/30二十三点23分25秒INFO DAGScheduler：执行人丢失：1（1时代）
org.apache.spark.SparkException：作业已中止由于舞台失败：任务0级0.0失败了4次，最近一次故障：在第一阶段0.0迷失任务0.3（TID 7，10.208.91.144）：ExecutorLostFailure（遗嘱执行人1赔）
驱动程序堆栈跟踪：
    在org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1266)
    在org.apache.spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.适用（DAGScheduler.scala：1257）
    在org.apache.spark.scheduler.DAGScheduler $$ anonfun $ abortStage $ 1.适用（DAGScheduler.scala：1256）
    在scala.collection.mutable.ResizableArray $ class.foreach（ResizableArray.scala：59）
    在scala.collection.mutable.ArrayBuffer.foreach（ArrayBuffer.scala：47）
    在org.apache.spark.scheduler.DAGScheduler.abortStage（DAGScheduler.scala：1256）
    在org.apache.spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.适用（DAGScheduler.scala：730）
    在org.apache.spark.scheduler.DAGScheduler $$ anonfun $ handleTaskSetFailed $ 1.适用（DAGScheduler.scala：730）
    在scala.Option.foreach（Option.scala：236）
    在org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed（DAGScheduler.scala：730）
    在org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive（DAGScheduler.scala：1450）
    在org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive（DAGScheduler.scala：1411）
    在org.apache.spark.util.EventLoop $$不久$ 1.run（EventLoop.scala：48）
异常线程mainjava.io.FileNotFoundException：G：\\工作区\\ DSS \\文本文件\\兼职00000（该系统找不到指定的文件）
    在java.io.FileInputStream.open0（本机方法）
    在java.io.FileInputStream.open（FileInputStream.java:195）
    在java.io.FileInputStream中。（FileInputStream.java:138）
    在java.io.FileInputStream中。（FileInputStream.java:93）
    在java.io.FileReader（FileReader.java:58）
    在com.Polarity.read（Polarity.java:94）
    在com.Polarity.main（Polarity.java:288）
16/03/30二十三点23分25秒INFO BlockManagerMasterEndpoint试图从BlockManagerMaster删除执行人1。
16/03/30二十三点23分25秒INFO BlockManagerMasterEndpoint：删除块经理BlockManagerId（1 10.208.91.144，61834）
16/03/30二十三点23分25秒INFO BlockManagerMaster：在removeExecutor成功取出1
16/03/30二十三点23分25秒INFO $应用程序客户机ClientActor：执行人更新：APP-20160330232314-0002 / 1现在EXITED（命令退出，code 50）
16/03/30二十三点23分25秒INFO SparkDeploySchedulerBackend：执行人APP-20160330232314-0002 / 1中删除：命令退出，code 50
16/03/30二十三点23分25秒错误SparkDeploySchedulerBackend：要求删除不存在的遗嘱执行人1
16/03/30二十三点23分25秒INFO $应用程序客户机ClientActor：执行人说：APP-20160330232314-0002 / 2工人20160330231130-10.208.91.144-61218（10.208.91.144:61218）4个核心
16/03/30二十三点23分25秒INFO SparkDeploySchedulerBackend：授予执行者ID的应用程序，20160330232314-0002上HOSTPORT 10.208.91.144:61218 / 2 4个核心，512.0 MB RAM
16/03/30二十三点23分25秒INFO SparkContext：从关闭挂钩调用的stop（）
16/03/30二十三点23分25秒INFO $应用程序客户机ClientActor：执行人更新：APP-20160330232314-0002 / 2现在正在运行
16/03/30二十三点23分25秒INFO $应用程序客户机ClientActor：执行人更新：APP-20160330232314-0002 / 2现在LOADING
16/03/30二十三点23分25秒INFO SparkUI：在停止星火web用户界面 http://10.208.91.144:4040
16/03/30二十三点23分25秒INFO DAGScheduler：停止DAGScheduler
16/03/30二十三点23分25秒INFO SparkDeploySchedulerBackend：关闭所有执行人
16/03/30二十三点23分25秒INFO SparkDeploySchedulerBackend：要求每个执行人关闭
16/03/30二十三点23分25秒INFO MapOutputTrackerMasterEndpoint：MapOutputTrackerMasterEndpoint停了！
16/03/30二十三点23分25秒INFO utils的：PATH = C:\\Users\\Developer\\AppData\\Local\\Temp\\spark-618a9039-a9d4-4fb2-bdc8-408d1e7f3c0e\\blockmgr-4436a6d6-fca4-4190-ac2a-48c8ebd4e7db,已经present作为根删除。
16/03/30二十三点23分25秒INFO MemoryStore的：MemoryStore的清除
16/03/30二十三点23分25秒INFO BlockManager：BlockManager停止
16/03/30二十三点23分25秒INFO BlockManagerMaster：BlockManagerMaster停止
16/03/30二十三点23分25秒INFO OutputCommitCoordinator $ OutputCommitCoordinatorEndpoint：OutputCommitCoordinator停了！
16/03/30二十三点23分25秒INFO RemoteActorRefProvider $ RemotingTerminator：关闭远程后台程序。
16/03/30二十三点23分25秒INFO SparkContext：已成功停止SparkContext
16/03/30二十三点23分25秒INFO RemoteActorRefProvider $ RemotingTerminator：远程后台程序关闭;有冲洗远程传输进行。
16/03/30二十三点23分25秒INFO utils的：所谓的关闭挂钩
16/03/30二十三点23分25秒INFO utils的：删除目录C：\\用户\\开发\\应用程序数据\\本地的\\ Temp \\火花618a9039-a9d4-4fb2-bdc8-408d1e7f3c0e
这是我的pom.xml

 ＆LT;项目的xmlns =http://maven.apache.org/POM/4.0.0的xmlns：XSI =http://www.w3.org/2001 / XML模式实例XSI：的schemaLocation =http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd\">
  ＆LT; modelVersion＆GT; 4.0.0＆LT; / modelVersion＆GT;
  ＆LT;＆的groupId GT;五规划＆LT; /的groupId＆GT;
  ＆LT;＆的artifactId GT; DSS＆LT; / artifactId的＆GT;
  ＆LT;＆版GT; 0.0.1-SNAPSHOT＆LT; /版本＆GT;
  ＆LT;建立＆GT;
        ＆LT;＆插件GT;
            ＆LT;＆插件GT;
            ＆LT;＆的groupId GT; org.apache.maven.plugins＆LT; /的groupId＆GT;
                ＆LT;＆的artifactId GT; Maven的编译器插件＆LT; / artifactId的＆GT;
                ＆LT;＆版GT; 2.3.2＆LT; /版本＆GT;
                ＆LT;结构＆gt;
                    ＆lt;信源＆GT; 1.8 LT; /源＆GT;
                    ＆lt;目标＆GT; 1.8 LT; /目标与GT;
                ＆LT; /结构＆gt;
            ＆LT; /插件＆GT;
            ＆LT;＆插件GT;
                ＆LT;＆的groupId GT; org.apache.maven.plugins＆LT; /的groupId＆GT;
                ＆LT;＆的artifactId GT;的maven-JAR-插件＆LT; / artifactId的＆GT;
                ＆LT;结构＆gt;
                    ＆LT;归档和GT;
                        ＆LT;＆舱单GT;
                            ＆LT; addClasspath＆GT;真＆LT; / addClasspath＆GT;
                            ＆LT;类路径preFIX＆GT;的lib /＆LT; /类路径preFIX＆GT;
                            ＆LT; mainClass＆GT; com.Polarity＆LT; / mainClass＆GT;
                        ＆LT; /清单＆GT;
                    ＆LT; /存档＆GT;
                ＆LT; /结构＆gt;
            ＆LT; /插件＆GT;
             ＆LT;＆插件GT;
                ＆LT;＆的groupId GT; org.apache.maven.plugins＆LT; /的groupId＆GT;
                ＆LT;＆的artifactId GT; Maven的编译器插件＆LT; / artifactId的＆GT;
                ＆LT;＆执行GT;
                    ＆LT;执行与GT;
                        ＆LT;阶段＆gt;＆编译LT; /阶段＆gt;
                        ＆LT;目标＆GT;
                            ＆LT;＆目标GT;＆编译LT; /目标＆GT;
                        ＆LT; /目标＆GT;
                    ＆LT; /执行＆GT;
                ＆LT; /处决＆GT;
            ＆LT; /插件＆GT;
        ＆LT; /插件＆GT;
    ＆LT; /构建＆GT;    ＆LT;依赖和GT;        ＆LT;！ - 进口星火 - ＆GT;
        ＆LT;＆依赖性GT;
            ＆LT;＆的groupId GT; org.apache.spark＆LT; /的groupId＆GT;
            ＆LT;＆的artifactId GT;火花core_2.10＆LT; / artifactId的＆GT;
            ＆LT;＆版GT; 1.4.0＆LT; /版本＆GT;
        ＆LT; /依赖性＆GT;
         ＆LT;＆依赖性GT;
            ＆LT;＆的groupId GT; org.apache.spark＆LT; /的groupId＆GT;
            ＆LT;＆的artifactId GT;火花sql_2.10＆LT; / artifactId的＆GT;
            ＆LT;＆版GT; 1.4.0＆LT; /版本＆GT;
        ＆LT; /依赖性＆GT;
        ＆LT;＆依赖性GT;
        ＆LT;＆的groupId GT; org.springframework＆LT; /的groupId＆GT;
        ＆LT;＆的artifactId GT;弹簧芯LT; / artifactId的＆GT;
        ＆LT;＆版GT; 2.5 LT; /版本＆GT;
        ＆LT; /依赖性＆GT;
        ＆LT;＆依赖性GT;
    ＆LT;＆的groupId GT; org.apache.spark＆LT; /的groupId＆GT;
    ＆LT;＆的artifactId GT;火花sql_2.10＆LT; / artifactId的＆GT;
    ＆LT;＆版GT; 1.3.1＆LT; /版本＆GT;
＆LT; /依赖性＆GT;
    ＆LT;＆依赖性GT;
      ＆LT;＆的groupId GT;夹爪LT; /的groupId＆GT;
      ＆LT;＆的artifactId GT;夹爪LT; / artifactId的＆GT;
      ＆LT;＆版GT; 1.2 LT; /版本＆GT;
      ＆LT;＆型GT;＆罐子LT; /类型＆GT;
      ＆LT;＆范围GT;系统和LT; /＆范围GT;
      ＆LT; Systempath下＆GT; G：/Workspace/DSS/lib/jaws-bin.jar< / Systempath下＆GT;
 ＆LT; /依赖性＆GT;
＆LT;＆依赖性GT;
  ＆LT;＆的groupId GT;的commons-logging＆LT; /的groupId＆GT;
  ＆LT;＆的artifactId GT;的commons-logging＆LT; / artifactId的＆GT;
  ＆LT;＆版GT; 1.1.3＆LT; /版本＆GT;
＆LT; /依赖性＆GT;
         ＆LT;＆依赖性GT;
            ＆LT;＆的groupId GT; edu.stanford.nlp＆LT; /的groupId＆GT;
            ＆LT;＆的artifactId GT;斯坦福大学corenlp＆LT; / artifactId的＆GT;
            ＆LT;＆版GT; 3.5.2＆LT; /版本＆GT;
        ＆LT; /依赖性＆GT;
        ＆LT;＆依赖性GT;
    ＆LT;＆的groupId GT; edu.stanford.nlp＆LT; /的groupId＆GT;
    ＆LT;＆的artifactId GT;斯坦福大学的解析器＆LT; / artifactId的＆GT;
    ＆LT;＆版GT; 2.0.2＆LT; /版本＆GT;
    ＆LT; /依赖性＆GT;
        ＆LT;＆依赖性GT;
  ＆LT;＆的groupId GT; edu.stanford.nlp＆LT; /的groupId＆GT;
  ＆LT;＆的artifactId GT;斯坦福大学corenlp＆LT; / artifactId的＆GT;
  ＆LT;＆版GT; 3.5.0＆LT; /版本＆GT;
  ＆LT;分类器GT;型号和LT; /分类＆GT;
＆LT; /依赖性＆GT;
        ＆LT;＆依赖性GT;
    ＆LT;＆的groupId GT; com.google code.json简单的＆LT; /的groupId＆GT;
    ＆LT;＆的artifactId GT; JSON-简单＆LT; / artifactId的＆GT;
    ＆LT;＆版GT; 1.1＆LT; /版本＆GT;
＆LT; /依赖性＆GT;
        ＆LT;＆依赖性GT;
            ＆LT;＆的groupId GT;的JUnit＆LT; /的groupId＆GT;
            ＆LT;＆的artifactId GT;的JUnit＆LT; / artifactId的＆GT;
            ＆LT;＆版GT;＆4.11 LT; /版本＆GT;
            ＆LT;＆范围GT;试验＆LT; /＆范围GT;
        ＆LT; /依赖性＆GT;
    ＆LT; /依赖和GT;
    ＆LT;性状＆gt;
     ＆LT; project.build.sourceEncoding＆GT; UTF-8＆LT; /project.build.sourceEncoding>
  ＆LT; /性状＆gt;＆LT; /项目＆GT;

解决方案

堆栈跟踪的第一行告诉你问题是什么。

  java.lang.NoClassDefFoundError的：EDU /斯坦福/ NLP /株/ TreebankLanguagePack在

如果您搜索谷歌或为计算器的NoClassDefFoundError ，你会发现描述如何解决这个问题的文章。这不是具体到Apache的火花。这是一个普通的Java问题。在Java类路径中被错误地设置了所有的可能性---你错过classpath中的罐子的文件，有一个罐子的版本错误，或者没有包含在类路径中的所有类文件。

您可能需要找出其中罐子包含类 edu.stanford.nlp.trees.TreebankLanguagePack 。谷歌搜索该类名称，表明它是斯坦福parser.jar 您缺少。您可能会丢失其他罐子了。

更新：现在你已经发布你的Maven的配置。我想你已经指定了一个旧版本斯坦福parser.jar中不包含 TreebankLanguagePack 类。试试这个：

 ＆LT;＆依赖性GT;
    ＆LT;＆的groupId GT; edu.stanford.nlp＆LT; /的groupId＆GT;
    ＆LT;＆的artifactId GT;斯坦福大学的解析器＆LT; / artifactId的＆GT;
    ＆LT;＆版GT; 3.6.0＆LT; /版本＆GT;
＆LT; /依赖性＆GT;

16/03/30 23:23:20 WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, 10.208.91.144): java.lang.NoClassDefFoundError: edu/stanford/nlp/trees/TreebankLanguagePack at java.lang.Class.getDeclaredFields0(Native Method) at java.lang.Class.privateGetDeclaredFields(Class.java:2499) at java.lang.Class.getDeclaredField(Class.java:1951) at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1659) at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:72) at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:480) at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:468) at java.security.AccessController.doPrivileged(Native Method) at java.io.ObjectStreamClass.(ObjectStreamClass.java:468) at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:365) at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:602) at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1622) at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370) at scala.collection.immutable.$colon$colon.readObject(List.scala:362) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1017) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1893) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:1990) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:1915) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1798) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350) at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370) at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:69) at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:95) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:58) at org.apache.spark.scheduler.Task.run(Task.scala:70) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Caused by: java.lang.ClassNotFoundException: edu.stanford.nlp.trees.TreebankLanguagePack at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:425) at java.lang.ClassLoader.loadClass(ClassLoader.java:358) ... 58 more

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>Fyp</groupId>
  <artifactId>DSS</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <build>
        <plugins>
            <plugin>
            <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <classpathPrefix>lib/</classpathPrefix>
                            <mainClass>com.Polarity</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>
             <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <executions>
                    <execution>
                        <phase>compile</phase>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

    <dependencies>

        <!-- Import Spark -->


        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.4.0</version>
        </dependency>
         <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.4.0</version>
        </dependency> 
        <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-core</artifactId>
        <version>2.5</version>
        </dependency> 
        <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.3.1</version>
</dependency>
    <dependency>  
      <groupId>jaws</groupId>  
      <artifactId>jaws</artifactId>  
      <version>1.2</version>  
      <type>jar</type>  
      <scope>system</scope>  
      <systemPath>G:/Workspace/DSS/lib/jaws-bin.jar</systemPath>  
 </dependency>  
<dependency>
  <groupId>commons-logging</groupId>
  <artifactId>commons-logging</artifactId>
  <version>1.1.3</version>
</dependency>
         <dependency>
            <groupId>edu.stanford.nlp</groupId>
            <artifactId>stanford-corenlp</artifactId>
            <version>3.5.2</version>
        </dependency>
        <dependency>
    <groupId>edu.stanford.nlp</groupId>
    <artifactId>stanford-parser</artifactId>
    <version>2.0.2</version>
    </dependency>
        <dependency>
  <groupId>edu.stanford.nlp</groupId>
  <artifactId>stanford-corenlp</artifactId>
  <version>3.5.0</version>
  <classifier>models</classifier>
</dependency>
        <dependency>
    <groupId>com.googlecode.json-simple</groupId>
    <artifactId>json-simple</artifactId>
    <version>1.1</version>
</dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <properties>
     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

</project>

解决方案

The first line of the stack trace tells you what the problem is.

java.lang.NoClassDefFoundError: edu/stanford/nlp/trees/TreebankLanguagePack at

If you search Google or StackOverflow for NoClassDefFoundError, you'll find articles describing how to fix this problem. It's not specific to Apache Spark. It's a general Java problem. In all likelihood your Java classpath is incorrectly set up---you're missing a "jar" file on the classpath, have the wrong version of a jar or have not included all the class files on the classpath.

You probably need to work out which "jar" contains the class edu.stanford.nlp.trees.TreebankLanguagePack. Searching Google for that class name, suggests it's the stanford-parser.jar that you are missing. You may be missing other jars too.

UPDATE: Now you've posted your maven config. I think you have specified an old version of stanford-parser.jar that does not contain the TreebankLanguagePack class. Try this instead:

<dependency>
    <groupId>edu.stanford.nlp</groupId>
    <artifactId>stanford-parser</artifactId>
    <version>3.6.0</version>
</dependency>

这篇关于什么是此异常火花指的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！

查看全文

什么是此异常火花指 [英] What is means by this exception in spark

问题描述

相关文章

Java开发最新文章

热门教程

热门工具

登录关闭

什么是此异常火花指 [英] What is means by this exception in spark

问题描述

相关文章

Java开发最新文章

热门教程

热门工具

登录 关闭

登录关闭