sbt-assembly相关内容

Spark 2.0.0打包了SBT-Assembly的流作业缺少Scala运行时方法

在电光流媒体2.0.0作业中使用->，或者使用spark-streaming-kafka-0-8_2.11v2.0.0，并通过spark-submit提交时，出现以下错误： 线程“Main”中的异常org.apache.spk.SparkException：作业因阶段失败而中止：阶段72.0中的任务0失败1次，最近的失败：阶段72.0中丢失的任务0.0(TID37，localhost)：ja ..
发布时间：2022-03-29 20:15:57 其他开发

sbt 程序集:去重 module-info.class

我在组装我的 uber jar 时收到以下错误: java.lang.RuntimeException: deduplicate: 发现不同的文件内容在以下内容中:[错误]/Users/jake.stone/.ivy2/cache/org.bouncycastle/bcprov-jdk15on/jars/bcprov-jdk15on-1.61.jar:module-info.class[错误 ..
发布时间：2022-01-24 22:37:09 其他开发

使用 sbt 在 fat jar manifest 中添加 git commit id

我正在使用 sbt-assembly 插件为我的 scala 项目构建一个胖 Jar.有没有办法可以在 jar 清单中包含 git commit id，类似于 git-commit-id-plugin 为 maven 所做的事情. 谢谢 解决方案 老问题，但是我去... 您可以使用带有 sbt-assembly 的 sbt-git 插件在您的MANIFEST.MF 文件. ..
发布时间：2022-01-24 22:22:16 其他开发

什么是 SBT 中的分类器

分类器一词是什么意思?它来自罐子吗?例如在 sbt-assembly 插件中: artifact in (Compile, assembly) ~= { art =>art.copy(`分类器` = Some("程序集"))} 解决方案 classifier被Maven定义为项目坐标的第五个元素，在groupId之后，artifactId、version 和 packaging. 更具 ..
发布时间：2022-01-24 22:06:57 其他开发

如何在使用 SBT 编译之前进行遮蔽?

我们的项目主要由两部分组成 Build.scala 根项目所在的位置 BuildShaded.scala 一些外部依赖项用 sbt-assembly 遮蔽.阴影 jar 将通过 unmanagedJars 设置被根项目下的子项目依赖. 问题是如何在编译根项目之前组装阴影项目.否则，根项目将无法编译，因为阴影 jar 中的那些类不可用. 解决方案 正如我在评论中所说，我会采取不 ..
发布时间：2022-01-24 22:01:27 其他开发

遮蔽第三方类

我目前在将 uber-jar 部署到 Spark Streaming 应用程序时遇到问题，其中存在具有不同版本的一致 JAR，这会导致 spark 引发运行时异常.有问题的库是 TypeSafe Config. 在尝试了很多事情之后，我的解决方案是推迟对提供的依赖项进行着色，这样它就不会与 Spark 在运行时提供的 JAR 发生冲突. 因此，我查看了 sbt-assembly 的文档 ..
发布时间：2022-01-24 21:59:57 其他开发

找不到 sbt 汇编命令

我正在尝试运行 sbt 程序集.根据 https://github.com/sbt/sbt-assembly ，对于 sbt 0.13.6+(我在 0.13.7 上)这应该自动包含在 JvmPlugin 的任何内容中.根据 sbt plugins 我在 root 中启用了 JvmPlugin.当我运行 sbt assembly 时，我得到“Not a valid commamdn: assembl ..
发布时间：2022-01-24 21:57:53 其他开发

如何从 IntelliJ IDEA 中运行 sbt-assembly 任务?

是否可以在 IntelliJ IDEA 中运行 sbt-assembly? 我还在文档中读到可以在 SBT 工具窗口中添加任务.但我看到的是它只帮助你查看你的项目而不是任务?我不能在那里添加任何任务.工具窗口究竟是如何工作的? 我有最新版本的 IntelliJ IDEA. 解决方案 这个答案现在已经过时了.IntelliJ 现在允许您为 SBT 任务创建运行配置.您通过以下方式 ..
发布时间：2022-01-24 21:56:52 其他开发

SBT 程序集 jar 排除

我正在使用 spark(在 java API 中)并且需要一个可以推送到集群的 jar，但是 jar 本身不应包含 spark.部署作业的应用程序当然应该包括 spark. 我想要: sbt run - 一切都应该被编译和执行 sbt smallAssembly - 创建一个没有火花的罐子 sbt 组装 - 创建一个包含所有内容(包括 spark)的 uber jar，以便于部署. ..
发布时间：2022-01-24 21:52:57 其他开发

使用 SBT 制作 Spark Fat Jar 的正确方法

我需要一个带有 Spark 的 Fat Jar，因为我正在为 Knime 创建一个自定义节点.基本上它是一个在 Knime 内部执行的独立 jar，我认为 Fat Jar 是生成本地 Spark Job 的唯一方法.最终我们将继续向远程集群提交作业，但现在我需要它以这种方式生成. 也就是说，我用这个做了一个 Fat Jar:https://github.com/sbt/sbt-组装 我 ..
发布时间：2022-01-24 21:49:07 其他开发

scala sbt 程序集“没有主要清单属性"

我在 sbt 中使用组装插件来组装我的项目.但是通过“java -jar xx.jar"运行时会发生错误 - “没有主要清单属性". 我认为这是因为我的 src/main/scala/ 目录中有两个文件，每个文件都有一个扩展 Application 的对象，这意味着在项目.但是我需要两个应用程序，一个是服务器，另一个是测试客户端. 如何在 scala sbt 中处理这个 two- ..
发布时间：2022-01-24 21:46:10 其他开发

使用 sbt-assembly 来自单个项目的具有不同外部依赖项的多个可执行 jar 文件

我有一个使用 build.scala 文件用 sbt 构建的 scala 项目.我可以使用 sbt-assembly 从该项目生成单个可执行 jar 文件，而不会出现问题.现在我想生成多个可执行的 jar 文件，其中每个文件都包含一组公共的内部和外部基本依赖项以及不同的外部依赖项. 当前版本的 sbt-assembly 可以做到这一点吗?在 maven 中这很容易，因为可以在 pom 中定义 ..
发布时间：2022-01-24 21:41:17 其他开发

如何使用 SBT、Spark 和“提供"高效工作依赖?

我正在使用 Scala 构建一个 Apache Spark 应用程序，并且我正在使用 SBT 来构建它.事情是这样的: 当我在 IntelliJ IDEA 下开发时，我希望将 Spark 依赖项包含在类路径中(我正在启动一个带有主类的常规应用程序) 当我打包应用程序(感谢 sbt-assembly)插件时，我确实不希望 Spark 依赖项包含在我的胖 JAR 中 当我通过 sbt tes ..
发布时间：2022-01-24 21:40:18 其他开发

为什么 Spark 应用程序失败并显示“ClassNotFoundException:无法找到数据源:kafka"作为带有 sbt 程序集的 uber-jar?

我正在尝试运行像 StructuredKafkaWordCount.我从 Spark 结构化流式编程指南开始. 我的代码是 包 io.boontadata.spark.job1导入 org.apache.spark.sql.SparkSession对象 DirectKafkaAggregateEvents {val FIELD_MESSAGE_ID = 0val FIELD_DEVICE_ ..
发布时间：2022-01-24 21:36:00 其他开发

sbt-assembly:发现重复数据删除错误

我不确定合并策略或排除 jars 是否是这里的最佳选择.任何有关如何进一步解决此错误的帮助都会很棒！ [sameert@pzxdcc0151 approxstrmatch]$ sbt 程序集[信息] 从/apps/sameert/software/approxstrmatch/project 加载项目定义[信息] 将当前项目设置为 approxstrmatch(在构建文件中:/apps/same ..
发布时间：2022-01-24 21:27:35 其他开发