oozie 中 Hive 操作的作业队列 [英] Job queue for Hive action in oozie

问题描述

我有一个 oozie 工作流程.我正在使用

I have a oozie workflow. I am submitting all the hive actions with

<name>mapred.job.queue.name</name>
<value>${queueName}</value>

但是对于少数 hive 操作，启动的作业不在指定队列中；它在默认队列中调用.

But for few hive actions, the job launched is not in specified queue; it is invoked in default queue.

请告诉我这种行为背后的原因和解决方案.

Please suggest me the cause behind this behavior and solution.

推荐答案

A.Oozie 细节 Oozie 将常规"Hadoop 属性传播到常规"MapReduce 操作.

A. Oozie specifics Oozie propagates the "regular" Hadoop properties to a "regular" MapReduce Action.

但是对于 Oozie 在 YARN 中运行单个 Mapper 任务的其他类型的 Action(Shell、Hive、Java 等)，它不认为这是一个真正的 MapReduce 作业.因此，它使用不同的一组未记录的属性总是前缀与oozie.launcher.查看该帖子.

But for other types of Action (Shell, Hive, Java, etc.) where Oozie runs a single Mapper task in YARN, it does not consider that it's a real MapReduce job. Hence it uses a different set of undocumented properties always prefixed with oozie.launcher. Look into that post for example.

因此，在您的情况下，要设置的实际属性将是 oozie.launcher.mapred.job.queue.name

So in your case the actual property to set would be oozie.launcher.mapred.job.queue.name

B.TEZ 细节 摘自 HortonWorks 文档:

例如，在 Hive 中，您可以使用 tez.queue.name 属性hive-site.xml 指定用于 Hive-on-Tez 作业的队列.到分配 Hive-on-Tez 作业以使用工程"队列，添加hive-site.xml 的以下属性:

For example, in Hive you can use the tez.queue.name property in hive-site.xml to specify the queue to use for Hive-on-Tez jobs. To assign Hive-on-Tez jobs to use the "engineering" queue, add the following property to hive-site.xml:

<property>  <name>tez.queue.name</name> <value>engineering</value> </property>

这篇关于oozie 中 Hive 操作的作业队列的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！