apache spark可以在没有hadoop的情况下运行吗? [英] Can apache spark run without hadoop?

问题描述

Spark 和 Hadoop 之间是否存在任何依赖关系?

Are there any dependencies between Spark and Hadoop?

如果没有，当我在没有 Hadoop 的情况下运行 Spark 时，是否会错过任何功能?

If not, are there any features I'll miss when I run Spark without Hadoop?

推荐答案

Spark 可以在没有 Hadoop 的情况下运行，但它的一些功能依赖于 Hadoop 的代码(例如处理 Parquet 文件).我们在 Mesos 和 S3 上运行 Spark，设置起来有点棘手，但一旦完成就可以很好地运行(您可以阅读正确设置所需内容的摘要 此处).

Spark can run without Hadoop but some of its functionality relies on Hadoop's code (e.g. handling of Parquet files). We're running Spark on Mesos and S3 which was a little tricky to set up but works really well once done (you can read a summary of what needed to properly set it here).

(编辑)注:从 2.3.0 版本开始，Spark 也增加了对 Kubernetes 的原生支持

(Edit) Note: since version 2.3.0 Spark also added native support for Kubernetes

这篇关于apache spark可以在没有hadoop的情况下运行吗?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！