在特定队列上运行队列作业 [英] Run a sqoop job on a specific queue

问题描述

我正在尝试创建在特定队列中运行的 Sqoop作业，但是它不起作用.

I'm trying to create a Sqoop job run in a specific queue but it doesn't work.

我已经尝试了两件事:

第一个:声明作业创建中的队列

1st : Declare the queue in the job creation

sqoop job \
         --create myjob \
         -- import \
         --connect jdbc:teradata://RCT/DATABASE=MYDB \
         -Dmapred.job.queue.name=shortduration \
         --driver com.teradata.jdbc.TeraDriver \
         --username DBUSER -P \
         --query "$query" \
         --target-dir /data/source/dest/$i \
         --check-column DAT_CRN_AGG \
         --incremental  append \
         --last-value 2001-01-01 \
         --split-by NUM_CTR

但是由于-Dmapred.job.queue.name=shortduration

第二个:删除作业创建的-Dmapred.job.queue.name=shortduration.创造就业机会效果很好.但无法指定应使用哪个队列

2nd : remove the -Dmapred.job.queue.name=shortduration of the job creation. job creation works well. But unable to specify which queue should be used

我失去希望在这个队列中完成工作

I'm loosing hope to run my job in this queue

感谢您提供的任何帮助！

Thanks for any help provided !

编辑:使用sqoop import -Dmapred.job.queue.name=shortduration进行导入，但sqoop作业不起作用

EDIT : get an import working with sqoop import -Dmapred.job.queue.name=shortduration but sqoop job not working

推荐答案

我认为您的命令有错误

-Dmapreduce.job.queuename=NameOfTheQueue

请注意queuename一个单词和一个顺序，根据文档，vm args需要在导入后直接进入.

note queuename one word and the order, based on the documentation, vm args need to go directly after the import.

https://sqoop.apache.org/docs/1.4. 3/SqoopUserGuide.html#_using_generic_and_specific_arguments

通用Hadoop命令行参数: (必须在任何特定于工具的参数之前) 支持的通用选项是 -conf指定应用程序配置文件 -D使用给定属性的值

Generic Hadoop command-line arguments: (must preceed any tool-specific arguments) Generic options supported are -conf specify an application configuration file -D use value for given property

sqoop job -Dmapred.job.queuename=shortduration \
         --create myjob \
         -- import  \
         --connect jdbc:teradata://RCT/DATABASE=MYDB \
         --driver com.teradata.jdbc.TeraDriver \
         --username DBUSER -P \
         --query "$query" \
         --target-dir /data/source/dest/$i \
         --check-column DAT_CRN_AGG \
         --incremental  append \
         --last-value 2001-01-01 \
         --split-by NUM_CTR

您可能只想使用导入工具尝试一下，以查看其是否正常工作，然后执行job命令，即

you might just want to try it with the import tool to see if it is working correctly then do the job command ie

sqoop import -Dmapred.job.queuename=shortduration \
         --connect jdbc:teradata://RCT/DATABASE=MYDB \
         --driver com.teradata.jdbc.TeraDriver \
         --username DBUSER -P \
         --query "$query" \
         --target-dir /data/source/dest/$i \
         --check-column DAT_CRN_AGG \
         --incremental  append \
         --last-value 2001-01-01 \
         --split-by NUM_CTR

这篇关于在特定队列上运行队列作业的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！