在oozie中进行Hive操作的作业队列 [英] Job queue for Hive action in oozie

问题描述

我有一个oozie工作流程。我将所有的配置单元操作都提交给

 < name> mapred.job.queue.name< / name> 
<值> $ {queueName}< /值> 
  

但是对于少数配置单元操作，启动的作业不在指定队列中;它是在默认队列中调用的。

请告诉我这个行为和解决方案背后的原因。 方案

Oozie细节 Oozie将常规Hadoop属性传播到常规MapReduce Action。

但对于其他类型的Action（Shell，Hive，Java，等等），其中Oozie在YARN中运行一个Mapper任务，但并不认为它是一个真正的MapReduce作业。因此，它使用一个不同组 未记录的属性，总是前缀例如，查看该帖子。

所以在你的情况下，要设置的实际属性应该是 oozie.launcher.mapred.job.queue.name

B。 TEZ细节摘自 HortonWorks文档：

例如，在Hive中，您可以使用 tez.queue.name
hive-site.xml 中的属性来指定用于Hive-on-Tez作业的队列。要
分配Hive-on-Tez作业以使用工程队列，请将
following属性添加到hive-site.xml中：

 <属性> <名称>&tez.queue.name LT; /名称> <值GT;工程< /值GT; < /性> 
  

I have a oozie workflow. I am submitting all the hive actions with

<name>mapred.job.queue.name</name>
<value>${queueName}</value>

But for few hive actions, the job launched is not in specified queue; it is invoked in default queue.

Please suggest me the cause behind this behavior and solution.

解决方案

A. Oozie specifics Oozie propagates the "regular" Hadoop properties to a "regular" MapReduce Action.

But for other types of Action (Shell, Hive, Java, etc.) where Oozie runs a single Mapper task in YARN, it does not consider that it's a real MapReduce job. Hence it uses a different set of undocumented properties always prefixed with oozie.launcher. Look into that post for example.

So in your case the actual property to set would be oozie.launcher.mapred.job.queue.name

B. TEZ specifics Excerpt from HortonWorks documentation:

For example, in Hive you can use the tez.queue.name property in hive-site.xml to specify the queue to use for Hive-on-Tez jobs. To assign Hive-on-Tez jobs to use the "engineering" queue, add the following property to hive-site.xml:

<property>  <name>tez.queue.name</name> <value>engineering</value> </property>

这篇关于在oozie中进行Hive操作的作业队列的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！