OOZIE:发生连接异常[java.net.ConnectException连接被拒绝(连接被拒绝)]
我正在尝试在以下人员的帮助下执行Oozie作业: 网址: https://www.safaribooksonline.com/library/view/apache-oozie/9781449369910/ch05.html 执行时 oozie job -run -config target/example/job.properties 获取错误为: Connection exc
..
oozie相关内容
Oozie Shell操作:exec和文件标签
我是Oozie的新手，我已经阅读了一些Oozie shell操作示例，但这使我对某些事情感到困惑. 我看到了一些没有标签的示例. 一些示例，例如在Cloudera中 check-hour.sh ${earthquakeMinThreshold}
..
Oozie>异步动作和同步动作有什么区别
我从Oozie官方网站上阅读:操作是异步的 由动作节点触发的所有计算/处理任务均由Oozie异步执行.对于由工作流操作触发的大多数类型的计算/处理任务，工作流作业必须等到计算/处理任务完成后才能转换到工作流中的下一个节点. 在同一网站的不同页面上: Fs HDFS动作 FS操作(同步操作)的引入说明: 从FS操作中同步执行FS命令，工作流作业将等待直到指定的文件命令完成，然
..
E0701 OOZIE工作流程中的XML模式错误
以下是我的工作流程.xml
..
无法在EMR 5.0 HUE上实例化SparkSession
我正在运行EMR 5.0集群，并且正在使用HUE创建OOZIE工作流程来提交SPARK 2.0作业.我已经在YARN上直接执行了火花提交工作，并在同一集群上执行了此步骤.没问题.但是当我使用HUE进行操作时，出现以下错误: java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.i
..
如何强制协调员在特定频率下实现行动?
我想知道是否有可能/如何强制协调器以固定的时间间隔实现或实例化工作流，即使以前的实例化工作流尚未完成. 让我解释一下: 我有一个简单的协调员，看起来像这样:
..
Oozie Shell Action的stdout和stderr输出
在Oozie站点中，它说"Shell动作的stdout和stderr输出重定向到运行shell命令的Oozie Launcher映射减少作业任务STDOUT".谁能告诉我在哪里准确看? 解决方案 Oozie在强制性命令的控制下，在“启动器" (即虚拟Mapper) YARN计数器(#00002)中运行Shell动作AppMaster容器(#00001) 检查Oozie日志中的“外部I
..
Oozie协调器，以sysdate作为开始时间
我想以开始时间为sysdate运行oozie协调器.我该怎么办? 是否可以将sysdate作为开始日期?会赶上吗? 解决方案 您可以使coorodinator的"start"引用变量-startTime，然后从命令行使用sysdate覆盖其值，例如: oozie job -run -config ./coord.properties -DstartTime=`date -u "+
..
及时安排火花作业
推荐使用哪种工具来每天/每周调度Spark作业. 1)Oozie 2)路易吉 3)阿兹卡班 4)计时 5)气流 谢谢. 解决方案 从此处更新我以前的答案: 气流:先尝试一下.体面的用户界面，类似于Python的作业定义，对于非程序员来说半可访问，依赖声明语法很奇怪. Airflow内置了对事实的支持，即计划的作业通常需要重新运行和/或回填.确保您建立了支持此功能的管道. Az
..
如何自动重新运行Oozie中失败的动作?
如何自动重新运行工作流程中失败的任何操作? 我知道从命令行或彻底的色调手动重新运行的方法. $oozie job -rerun ... 我们可以在工作流程中设置或提供任何参数以在操作失败时自动重试吗? 解决方案 在大多数情况下，当Oozie工作流程中的操作失败时，您需要调试并修复错误并重新运行工作流程.但是有时候，当您希望Oozie在一定间隔后重试该操作时，需要进行固定的次
..
如何在OOZIE工作流程中使用逻辑运算符
我有一个oozie工作流程 我正在使用决策控制节点 在谓词中我想“&&"两种不同的条件 我需要使用“&&"在它们之间获得最终的TRUE/FALSE结果 我找不到此类条件的谓词语法 我正在使用 -
..
构建oozie:未知主机repository.codehaus.org
我正在尝试构建从此处下载的Oozie 4.2.0: http://ftp.cixug.es/apache/oozie/4.2.0/oozie-4.2.0.tar.gz 启动构建后 bin/mkdistro.sh -DskipTests 我收到此错误: [ERROR] Failed to execute goal on project oozie-core: Could not
..
使用Oozie运行Shell脚本
我正在尝试通过Oozie运行sh脚本，但是我遇到了一个问题: 无法运行程序"script.sh"(在目录中 "/mapred/local/taskTracker/dell/jobcache/job_201312061003_0001/attempt_201312061003_0001_m_000000_0/work"): java.io.IOException:错误= 2，没有这样的文件或目
..
DAG(有向无环图)动态作业调度程序
我需要管理ETL任务的大型工作流，其执行取决于时间，数据可用性或外部事件.在执行工作流期间，某些作业可能会失败，并且系统应该能够重新启动失败的工作流分支，而不必等待整个工作流完成执行. python中是否有任何可以处理此问题的框架? 我看到了几个核心功能: DAG建筑物 执行节点(通过等待，记录等运行shell cmd) 执行期间能够在父DAG中重建子图 能够在父图运行
..
如何使用Oozie安排Squoop动作
我是Oozie的新手，我只是想知道-我如何使用Oozie安排一份临时工作.我知道可以在Oozie工作流程中添加sqoop动作.但是我该如何安排一个sqoop动作并使它像每天每2分钟或每天8pm一样自动运行(只是安排一个cron工作)? 解决方案 您需要创建带有开始，结束和频率的coordinator.xml文件.这是一个例子
..
Oozie/yarn:src文件系统上的资源已更改
我有一个Oozie工作流程，其步骤之一是java步骤，运行存储在本地文件系统上的jar(该jar存在于所有节点上). 最初，jar是通过RPM安装的，因此它们都具有相同的时间戳. 在进行试验时，我在此jar上手动复制了一个新版本，现在我收到消息: org.apache.oozie.action.ActionExecutorException: JA009: org.apache.
..
从oozie传递用户名和密码到sqoop meta连接
${jobTracker} ${nameNode} job --meta-connect jdbc:mysql:
..
sqoop无法将增量状态存储到元存储
我在保存增量导入状态时得到了这个 16/05/15 21:43:05 INFO tool.ImportTool: Saving incremental import state to the metastore 16/05/15 21:43:56 ERROR tool.ImportTool: Encountered IOException running import job: java.i
..
Oozie Shell动作记忆限制
我们有一个带有外壳操作的oozie工作流程，该操作比默认情况下由Yarn给出的地图任务需要更多的内存. 我们如何给它更多的存储空间? 我们尝试将以下配置添加到操作中: mapreduce.map.memory.mb 6144
..
Oozie作业提交失败
我试图提交一个示例map reduce oozie job，并且所有属性都根据路径和名称节点以及job-tracker端口等进行了正确配置.我也验证了workflow.xml.部署作业时，我会得到一个作业ID，当我检查状态时，会看到状态KILLED，详细信息基本上是 /var/tmp/oozie/oozie-oozi7188507762062318929.dir/map-reduce-lau
..