可Apache服务器时不Hadoop的火花运行吗? [英] Can apache spark run without hadoop?

查看:227
本文介绍了可Apache服务器时不Hadoop的火花运行吗?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

有没有之间的依赖关系的星火 的Hadoop

如果不是,是否有任何功能,当我跑我会想念 星火 的Hadoop <? / p>

在此先感谢。


解决方案

星火可以在不Hadoop的运行,但它的一些功能依赖于Hadoop的code(例如拼花文件处理)。我们正在Mesos和S3运行星火这是一个有点棘手成立,但确实很好做一次(你可以阅读一下需要正确设置它的这里)。

Are there any dependencies between Spark and Hadoop?

If not, are there any features I'll miss when I run Spark without Hadoop?

Thanks in advance.

解决方案

Spark can run without Hadoop but some of its functionality relies on Hadoop's code (e.g. handling of Parquet files). We're running Spark on Mesos and S3 which was a little tricky to set up but works really well once done (you can read a summary of what needed to properly set it here).

这篇关于可Apache服务器时不Hadoop的火花运行吗?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆