以编程方式杀死Spark Job [英] Kill Spark Job programmatically

问题描述

我正在通过Jupyter笔记本运行pyspark应用程序.我可以使用Spark Web UI终止工作，但是我想以编程方式终止工作.

I am running pyspark application through Jupyter notebook. I can kill a job using Spark Web UI, but I want to kill it programmatically.

我怎么杀死它?

推荐答案

假设您编写了以下代码:

Suppose that you wrote this code:

from pyspark import SparkContext

sc = SparkContext("local", "Simple App")

# This will stop your app
sc.stop()

文档中的描述: http://spark. apache.org/docs/latest/api/python/pyspark.html?highlight=stop#pyspark.SparkContext.stop

这篇关于以编程方式杀死Spark Job的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！