如何从一个独立的Java程序中运行群集星火计划？ [英] How to run a spark program on cluster from within a separate java program?

问题描述

我有它运行独立的小火花程序，以便我如何才能让我的java程序运行火花小模块/集群方案？

I have a java program which runs separate small spark programs so How could I make my java program to run small spark modules/programs on cluster?

例如：我有一个程序名遗嘱执行人（java程序）

for example: I have a program name executor(java program).

和一些火花程序
--add两个数字
--subtract两个数

and some spark programs --add two numbers --subtract two numbers

所以，我怎么会从我的java程序，即执行人在这种情况下，运行在群集的火花程序。

So how could I run those spark programs on Cluster from my java program i.e. executor in this case.

谢谢！

推荐答案

可能的解决方案是：

1. 写bash脚本和顺序执行星火计划项目。

1. Write a bash script and sequentially execute Spark program.

写的所有操作在一个程序中，并调用在一个程序中的每个操作并打印相应的结果。

Write all the operations in a single program, and call each operation in a single program and print respective results.

编写一个程序，但使用并行编程的原则。这意味着，在并行执行这样的操作。嗯，这取决于你有什么类型的数据，你想实现，很难评论什么。

Write a single program but use principle of parallel programming. It means, execute such operation in parallel. Well, it depend on what type of data you have and what you would like to achieve, hard to comment.

这篇关于如何从一个独立的Java程序中运行群集星火计划？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！