在特定队列上运行 sqoop 作业 [英] Run a sqoop job on a specific queue

问题描述

我正在尝试创建一个 在特定队列中运行的 Sqoop 作业，但它不起作用.

I'm trying to create a Sqoop job run in a specific queue but it doesn't work.

我尝试了两件事:

1st:在作业创建中声明队列

1st : Declare the queue in the job creation

sqoop job 
         --create myjob 
         -- import 
         --connect jdbc:teradata://RCT/DATABASE=MYDB 
         -Dmapred.job.queue.name=shortduration 
         --driver com.teradata.jdbc.TeraDriver 
         --username DBUSER -P 
         --query "$query" 
         --target-dir /data/source/dest/$i 
         --check-column DAT_CRN_AGG 
         --incremental  append 
         --last-value 2001-01-01 
         --split-by NUM_CTR

但由于 -Dmapred.job.queue.name=shortduration

2nd :删除作业创建的 -Dmapred.job.queue.name=shortduration.创造就业的效果很好.但无法指定应该使用哪个队列

2nd : remove the -Dmapred.job.queue.name=shortduration of the job creation. job creation works well. But unable to specify which queue should be used

我失去了在这个队列中运行我的工作的希望

I'm loosing hope to run my job in this queue

感谢您提供的任何帮助！

Thanks for any help provided !

EDIT:使用 sqoop import -Dmapred.job.queue.name=shortduration 进行导入，但 sqoop 作业无法正常工作

EDIT : get an import working with sqoop import -Dmapred.job.queue.name=shortduration but sqoop job not working

推荐答案

我认为你的命令有错误

-Dmapreduce.job.queuename=NameOfTheQueue

注意queuename一个字和顺序，根据文档，vm args需要导入后直接走.

note queuename one word and the order, based on the documentation, vm args need to go directly after the import.

https://sqoop.apache.org/docs/1.4.3/SqoopUserGuide.html#_using_generic_and_specific_arguments

通用 Hadoop 命令行参数:(必须在任何特定于工具的参数之前)支持的通用选项是-conf 指定应用程序配置文件-D 给定属性的使用价值

Generic Hadoop command-line arguments: (must preceed any tool-specific arguments) Generic options supported are -conf specify an application configuration file -D use value for given property

sqoop job -Dmapred.job.queuename=shortduration 
         --create myjob 
         -- import  
         --connect jdbc:teradata://RCT/DATABASE=MYDB 
         --driver com.teradata.jdbc.TeraDriver 
         --username DBUSER -P 
         --query "$query" 
         --target-dir /data/source/dest/$i 
         --check-column DAT_CRN_AGG 
         --incremental  append 
         --last-value 2001-01-01 
         --split-by NUM_CTR

你可能只想用导入工具试试看它是否正常工作，然后执行作业命令，即

you might just want to try it with the import tool to see if it is working correctly then do the job command ie

sqoop import -Dmapred.job.queuename=shortduration 
         --connect jdbc:teradata://RCT/DATABASE=MYDB 
         --driver com.teradata.jdbc.TeraDriver 
         --username DBUSER -P 
         --query "$query" 
         --target-dir /data/source/dest/$i 
         --check-column DAT_CRN_AGG 
         --incremental  append 
         --last-value 2001-01-01 
         --split-by NUM_CTR

这篇关于在特定队列上运行 sqoop 作业的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！