sbt-assembly相关内容
在电光流媒体2.0.0作业中使用->,或者使用spark-streaming-kafka-0-8_2.11v2.0.0,并通过spark-submit提交时,出现以下错误: 线程“Main”中的异常org.apache.spk.SparkException:作业因阶段失败而中止:阶段72.0中的任务0失败1次,最近的失败:阶段72.0中丢失的任务0.0(TID37,localhost):ja
..
我在组装我的 uber jar 时收到以下错误: java.lang.RuntimeException: deduplicate: 发现不同的文件内容在以下内容中:[错误]/Users/jake.stone/.ivy2/cache/org.bouncycastle/bcprov-jdk15on/jars/bcprov-jdk15on-1.61.jar:module-info.class[错误
..
我正在使用 sbt-assembly 插件为我的 scala 项目构建一个胖 Jar.有没有办法可以在 jar 清单中包含 git commit id,类似于 git-commit-id-plugin 为 maven 所做的事情. 谢谢 解决方案 老问题,但是我去... 您可以使用带有 sbt-assembly 的 sbt-git 插件在您的MANIFEST.MF 文件.
..
分类器一词是什么意思?它来自罐子吗?例如在 sbt-assembly 插件中: artifact in (Compile, assembly) ~= { art =>art.copy(`分类器` = Some("程序集"))} 解决方案 classifier被Maven定义为项目坐标的第五个元素,在groupId之后,artifactId、version 和 packaging. 更具
..
我们的项目主要由两部分组成 Build.scala 根项目所在的位置 BuildShaded.scala 一些外部依赖项用 sbt-assembly 遮蔽.阴影 jar 将通过 unmanagedJars 设置被根项目下的子项目依赖. 问题是如何在编译根项目之前组装阴影项目.否则,根项目将无法编译,因为阴影 jar 中的那些类不可用. 解决方案 正如我在评论中所说,我会采取不
..
我目前在将 uber-jar 部署到 Spark Streaming 应用程序时遇到问题,其中存在具有不同版本的一致 JAR,这会导致 spark 引发运行时异常.有问题的库是 TypeSafe Config. 在尝试了很多事情之后,我的解决方案是推迟对提供的依赖项进行着色,这样它就不会与 Spark 在运行时提供的 JAR 发生冲突. 因此,我查看了 sbt-assembly 的文档
..
我正在尝试运行 sbt 程序集.根据 https://github.com/sbt/sbt-assembly ,对于 sbt 0.13.6+(我在 0.13.7 上)这应该自动包含在 JvmPlugin 的任何内容中.根据 sbt plugins 我在 root 中启用了 JvmPlugin.当我运行 sbt assembly 时,我得到“Not a valid commamdn: assembl
..
是否可以在 IntelliJ IDEA 中运行 sbt-assembly? 我还在文档中读到可以在 SBT 工具窗口中添加任务.但我看到的是它只帮助你查看你的项目而不是任务?我不能在那里添加任何任务.工具窗口究竟是如何工作的? 我有最新版本的 IntelliJ IDEA. 解决方案 这个答案现在已经过时了.IntelliJ 现在允许您为 SBT 任务创建运行配置.您通过以下方式
..
我正在使用 spark(在 java API 中)并且需要一个可以推送到集群的 jar,但是 jar 本身不应包含 spark.部署作业的应用程序当然应该包括 spark. 我想要: sbt run - 一切都应该被编译和执行 sbt smallAssembly - 创建一个没有火花的罐子 sbt 组装 - 创建一个包含所有内容(包括 spark)的 uber jar,以便于部署.
..
我需要一个带有 Spark 的 Fat Jar,因为我正在为 Knime 创建一个自定义节点.基本上它是一个在 Knime 内部执行的独立 jar,我认为 Fat Jar 是生成本地 Spark Job 的唯一方法.最终我们将继续向远程集群提交作业,但现在我需要它以这种方式生成. 也就是说,我用这个做了一个 Fat Jar:https://github.com/sbt/sbt-组装 我
..
我在 sbt 中使用组装插件来组装我的项目.但是通过“java -jar xx.jar"运行时会发生错误 - “没有主要清单属性". 我认为这是因为我的 src/main/scala/ 目录中有两个文件,每个文件都有一个扩展 Application 的对象,这意味着在项目.但是我需要两个应用程序,一个是服务器,另一个是测试客户端. 如何在 scala sbt 中处理这个 two-
..
我有一个使用 build.scala 文件用 sbt 构建的 scala 项目.我可以使用 sbt-assembly 从该项目生成单个可执行 jar 文件,而不会出现问题.现在我想生成多个可执行的 jar 文件,其中每个文件都包含一组公共的内部和外部基本依赖项以及不同的外部依赖项. 当前版本的 sbt-assembly 可以做到这一点吗?在 maven 中这很容易,因为可以在 pom 中定义
..
我正在使用 Scala 构建一个 Apache Spark 应用程序,并且我正在使用 SBT 来构建它.事情是这样的: 当我在 IntelliJ IDEA 下开发时,我希望将 Spark 依赖项包含在类路径中(我正在启动一个带有主类的常规应用程序) 当我打包应用程序(感谢 sbt-assembly)插件时,我确实不希望 Spark 依赖项包含在我的胖 JAR 中 当我通过 sbt tes
..
Spark对json4s 3.2.10有依赖,但是这个版本有几个bug,我需要使用3.2.11.我在 build.sbt 中添加了 json4s-native 3.2.11 依赖,一切都编译得很好.但是当我提交我的 JAR 时,它为我提供了 3.2.10. build.sbt 导入 sbt.Keys._名称:=“sparkapp"版本:=“1.0"scalaVersion := "2.10
..
..
我运行了 spark 应用程序并想将测试类打包到 fat jar 中.奇怪的是我成功地运行了“sbt assembly",但是当我运行“sbt test:assembly"时却失败了. 我尝试了 sbt-assembly : 包括测试类,但没有成功对于我的情况. SBT 版本:0.13.8 build.sbt: 导入 sbtassembly.AssemblyPlugin._名称
..
我正在尝试运行像 StructuredKafkaWordCount.我从 Spark 结构化流式编程指南开始. 我的代码是 包 io.boontadata.spark.job1导入 org.apache.spark.sql.SparkSession对象 DirectKafkaAggregateEvents {val FIELD_MESSAGE_ID = 0val FIELD_DEVICE_
..
我正在尝试使用 sbt-assembly 将 scala 项目转换为可部署的 fat jar.当我在 sbt 中运行我的组装任务时,我收到以下错误: 将 'org/apache/commons/logging/impl/SimpleLog.class' 与策略 'deduplicate' 合并:assembly: deduplicate: 在以下找到不同的文件内容:[错误]/Users/home
..
这是一个示例build.sbt: 导入 AssemblyKeys._装配设置构建信息设置net.virtualvoid.sbt.graph.Plugin.graphSettings名称:=“scala-app-template"版本:=“0.1"scalaVersion := "2.9.3"val FunnyRuntime = config("funnyruntime") 扩展(编译)libra
..
我不确定合并策略或排除 jars 是否是这里的最佳选择.任何有关如何进一步解决此错误的帮助都会很棒! [sameert@pzxdcc0151 approxstrmatch]$ sbt 程序集[信息] 从/apps/sameert/software/approxstrmatch/project 加载项目定义[信息] 将当前项目设置为 approxstrmatch(在构建文件中:/apps/same
..