如果我通过spark访问数据，我可以使用impala控制列级别的数据库表访问 [英] If I access data via spark, can I control database table access at column level with impala

问题描述

有人可以帮我解决这个问题:)。



我们使用Impala查询数据，使用Sentry限制对列级数据的访问。



我们使用Spark编写代码来查询存储在文件中的数据。我的理解是，当与Spark一起使用时，Sentry角色无法控制列级别的访问。但是，有人建议有一种方法可以使用Spark with Impala来编写代码以通过Spark访问数据，但仍然应用Sentry角色来控制列级别的访问。这是正确的，因为我无法在任何地方找到任何相关信息。



我尝试过的事情：



这是一个理论上的问题，我一直试图搜索信息但找不到任何东西。

Could somebody please help me with this query :).

We use Impala to query data, with Sentry to restrict access to data at column level.

We use Spark to write code to query data stored in files. My understanding is that Sentry roles cannot control access at column level when used with Spark. However, it has been suggested that there is a way to use Spark with Impala to allow code to be written to access data via Spark but still apply Sentry roles to control access at column level. Is this correct because I can't find any information on this anywhere.

What I have tried:

This is a theoretical question at the moment, I have tried searching for information but can't find anything.

推荐答案

Impala and Spark是与Hadoop一起使用的两个独立的SQL引擎...一个不能使用另一个的功能!!!

所以，不，如果你使用Impala没有Spark，如果你使用Spark，那么没有Impala ......

Impala and Spark are two separate SQL engines for use with Hadoop... One can not use features from the other!!!
So, no if you use Impala there is no Spark, if you use Spark there is no Impala...

这篇关于如果我通过spark访问数据，我可以使用impala控制列级别的数据库表访问的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！