如何在同一个 Spark 项目中同时使用 Scala 和 Python? [英] How to Use both Scala and Python in a same Spark project?
本文介绍了如何在同一个 Spark 项目中同时使用 Scala 和 Python?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
是否可以将 Spark RDD 通过管道传输到 Python?
Is that possible to pipe Spark RDD to Python?
因为我需要一个 python 库来对我的数据进行一些计算,但是我的主要 Spark 项目是基于 Scala 的.有没有办法将它们混合或让 python 访问相同的 spark 上下文?
Because I need a python library to do some calculation on my data, but my main Spark project is based on Scala. Is there a way to mix them both or let python access the same spark context?
推荐答案
您确实可以使用 Scala 和 Spark 以及常规 Python 脚本输出到 Python 脚本.
You can indeed pipe out to a python script using Scala and Spark and a regular Python script.
test.py
#!/usr/bin/python
import sys
for line in sys.stdin:
print "hello " + line
spark-shell (scala)
val data = List("john","paul","george","ringo")
val dataRDD = sc.makeRDD(data)
val scriptPath = "./test.py"
val pipeRDD = dataRDD.pipe(scriptPath)
pipeRDD.foreach(println)
输出
你好约翰
你好林戈
你好乔治
你好保罗
这篇关于如何在同一个 Spark 项目中同时使用 Scala 和 Python?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文