如何在 PySpark 中运行脚本 [英] How to run a script in PySpark

问题描述

我正在尝试在 pyspark 环境中运行脚本，但到目前为止我还没有.

I'm trying to run a script in the pyspark environment but so far I haven't been able to.

如何在 pyspark 中运行像 python script.py 这样的脚本?

How can I run a script like python script.py but in pyspark?

推荐答案

你可以这样做:./bin/spark-submit mypythonfile.py

从 Spark 2.0 开始，不支持通过 pyspark 运行 python 应用程序.

Running python applications through pyspark is not supported as of Spark 2.0.

这篇关于如何在 PySpark 中运行脚本的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！