spring-data-hadoop相关内容

Spring Boot Yarn - 传递命令行参数

我正在尝试在我的 Spring Boot Yarn 应用程序中传递命令行参数,但遇到了困难.我知道我可以在 yml 文档 spring.yarn.appmaster.launchcontext.arguments 中设置这些但如何从命令行设置?像 java -jar MyYarnApp.jar {arg0} {arg1} 并从我的 @YarnContainer 访问它? 我发现 @YarnP ..
发布时间:2021-08-20 19:25:55 其他开发

如何在不产生单独的JVM的情况下并行提交多个Spark应用程序?

问题是您需要启动单独的JVM来创建每个作业具有不同RAM数量的单独会话. 如何在不手动生成单独的JVM的情况下同时提交几个Spark应用程序? 我的应用程序在单个JVM中的单个服务器上运行.似乎每个JVM范例的Spark会话都有问题. Spark范式说: 1 JVM => 1 app => 1 session => 1 context => 1 RAM/executors/cor ..
发布时间:2020-09-04 06:28:24 Java开发

使用REST触发Spark作业

我最近尝试了 apache spark .我的问题是更具体地触发火花作业. 这里我已经发布了有关了解火花工作的问题.在忙于工作之后,我继续着自己的要求. 我有一个REST端点,在这里我公开API来触发Jobs,我已经将Spring4.0用于Rest实施.现在,我想到了在Spring中实现Jobs as Service的工作,我将以编程方式提交Job,这意味着当端点触发时,使用给定的参数,我将 ..