spark-shell - spark sql和hive的问题？

问题描述

问 题

看到spark sql兼容hive，并有一个hive on spark的项目

那完全使用spark sql自己的解析，和hive on spark 让hive借助spark运行有什么不同？

哪个更高效？

hive是否能提供比spark sql原生更好的sql支持，是否需要学习hive语法？

解决方案

总体上差不太多，hive on spark只是相当于给hive提供了一个新的计算引擎，将hive的sql解析成spark的DAG去计算。spark sql也差不多。不过，hive在sql上的优势是可以直接利用 hive cli 来进行交互操作，比起spark sql要方便不少。

这篇关于spark-shell - spark sql和hive的问题？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！