乌兹 >异步动作和同步动作有什么区别
..
oozie相关内容
org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max=120
我正在运行一个有少量计数器和多输出的 hadoop 作业(来自 oozie). 我收到如下错误:org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max=120 然后我删除了所有具有计数器的代码，并将 mout.setCountersEnabled 设置为 false.并且还在 hadoop 配置
..
Hadoop 作业失败，资源管理器无法识别 AttemptID
我正在尝试在 Oozie 工作流程中聚合一些数据.但是聚合步骤失败了. 我在日志中发现了两个兴趣点:第一个是似乎反复出现的错误(?): 容器完成后，它会被杀死，但会以非零退出代码 143 退出. 结束: 2015-05-04 15:35:12,013 INFO [49697 上的 IPC 服务器处理程序 7] org.apache.hadoop.mapred.TaskAttem
..
乌兹 >Java 动作 >为什么属性 oozie.launcher.mapred.child.java.opts 不起作用
我正在使用 Java 操作开发 Oozie.Java 操作应使用 Java 选项 -Xmx15g.因此，我将属性 oozie.mapreduce.map.memory.mb 设置为 25600 (25G)，以防需要一些额外的内存. 在这个简单的设置之后，我运行了 Oozie 作业，然后在 Java 运行时当然会出现 OutofMemory(堆空间不足)错误. 所以我在基于链接的 Jav
..
Oozie shell 脚本操作
我正在探索 Oozie 管理 Hadoop 工作流的功能.我正在尝试设置一个调用一些 hive 命令的 shell 操作.我的 shell 脚本 hive.sh 看起来像: #!/bin/bashhive -f 蜂巢脚本 hive 脚本(已独立测试)在哪里创建一些表等等.我的问题是在哪里保留 hivescript，然后如何从 shell 脚本中引用它. 我尝试了两种方法，首先使用本地路径
..
Apache Oozie 加载 ShareLib 失败
我得到以下 oozie.log : org.apache.oozie.service.ServiceException: E0104: 无法完全初始化服务 [org.apache.oozie.service.ShareLibService]，无法缓存 sharelib.管理员需要使用 oozie-setup.sh 安装 sharelib 并发出“oozie admin"CLI 命令来更新 sha
..
在 oozie 中覆盖 hadoop 的 mapreduce.fileoutputcommitter.marksuccessfuljobs
mapreduce.fileoutputcommitter.marksuccessfuljobsfalse 我想将上述属性覆盖为 true.对于集群上的其余作业，该属性需要为 false，但在我的 oozie 工作流中，我需要在作业完成后使用 hadoop 在输出目录中创建 _SUCCESS 文件.它是工作流中写入输出的配置单元操
..
Oozie + Sqoop:JDBC 驱动程序 Jar 位置
我有一个基于 cloudera 的 6 节点 hadoop 集群，我正在尝试从 oozie 中的 sqoop 操作连接到 oracle 数据库. 我已将我的 ojdbc6.jar 复制到 sqoop lib 位置(对我来说恰好位于:/opt/cloudera/parcels/CDH-4.2.0-1.cdh4.2.0.p0.10/lib/sqoop/lib/) 在所有节点上，并已验证我可以从所
..
获取 E0902:发生异常:[用户:oozie 不允许冒充 oozie]
嗨，我是 Oozie 的新手，我收到此错误 E0902:发生异常:[用户:不允许 pramod 模仿 pramod] 当我运行以下命令时 ./oozie job -oozie htt p://localhost:11000/oozie/-config ~/Desktop/map-reduce/job.properties -run. 我的 hadoop 版本是 1.0.3，oozie 版本是
..
在 OOZIE-4.1.0 中运行多个工作流时出错
我按照以下步骤在 Linux 机器上安装了 oozie 4.1.0http://gauravkohli.com/2014/08/26/apache-oozie-installation-on-hadoop-2-4-1/ hadoop 版本 - 2.6.0行家 - 3.0.4猪 - 0.12.0 集群设置 - MASTER NODE runnig - Namenode、Resourcema
..
oozie 中 Hive 操作的作业队列
我有一个 oozie 工作流程.我正在使用 提交所有配置单元操作 mapred.job.queue.name${queueName} 但是对于少数 hive 操作，启动的作业不在指定队列中；它在默认队列中调用. 请告诉我这种行为背后的原因和解决方案. 解决方案 A.Oozie 细节 Oozie 将“常规"Hadoop 属性传播到“常规"MapRed
..
OOZIE:在全局作业 xml 中引用的文件中定义的属性在工作流.xml 中不可见
我是 hadoop 的新手，现在我正在使用单个 sqoop 操作测试简单的工作流程.如果我使用普通值 - 而不是全局属性，它会起作用. 然而，我的目标是在全局部分的 job-xml 标记中引用的文件中定义一些全局属性. 经过长时间的斗争和阅读了很多文章，我仍然无法让它工作.我怀疑一些简单的事情是错误的，因为我发现一些文章表明此功能可以正常工作. 希望你能给我一个提示. 简而
..
Oozie:从 Oozie <java> 启动 Map-Reduce行动?
我正在尝试使用 操作在 Oozie 工作流中执行 Map-Reduce 任务. O'Reilley 的 Apache Oozie(Islam and Srinivasan 2015)指出: 虽然不推荐，但可以使用 Java action 来运行 Hadoop MapReduce 作业，因为 MapReduce 作业毕竟只是 Java 程序.调用的主类可以是 Hadoop MapRedu
..
无法在 EMR 5.0 HUE 上实例化 SparkSession
我正在运行一个 EMR 5.0 集群，我正在使用 HUE 创建一个 OOZIE 工作流来提交 SPARK 2.0 作业.我直接在 YARN 上使用 spark-submit 运行了该作业，并作为同一集群上的一个步骤.没问题.但是，当我使用 HUE 执行此操作时，出现以下错误: java.lang.IllegalArgumentException:实例化“org.apache.spark.sql.
..
如何为前一天配置 Oozie 协调器数据集
我想根据上一个日期的控制文件的可用性运行工作流.我的目录中的日期格式是 ${basePath}/YYYYMMdd/00/_Complete.我想检查我的 00 中的 _Complete 文件.我的工作将每天运行前一天的数据.我尝试了类似问题中提供的选项但仍然无法正常工作.例如，当我针对具有以下值的同一天数据对其进行测试时，它可以正常工作，但不能使用 (-1) 选项.URI-TEMPLATE 格式是
..
Oozie构建失败:无法执行目标org.apache.maven.plugins:maven-assembly-plugin:3.1.0:single
我正在尝试使用Java版本"1.8.0_221"和maven版本3.6.3安装Oozie 5.2.0.解压缩Oozie文件后，输入以下命令: bin/mkdistro.sh程序集:单-P hadoop-2，超级-Dmaven.test.skip = true -Dhadoop.version = 2.7.4 -Dhive.version = 2.1.1 -e 但是，我得到了以下响应，但失败
..
错误:E0708:E0708:无效的转换
使用此教程我为蜂巢脚本创建了工作流，但运行时却出现错误下面的命令: oozie作业-oozie http://xxx.xx.xx.xx:11000/oozie -config/home/ec2-user/ankit/oozie_job1/job.properties-提交 我得到的错误是这样的: 错误:E0708:E0708:转换无效，节点[Oozie_test]转换[Tester]
..
Oozie继续将旧版本的httpcore jar添加到classpath
由于Oozie将错误版本的httpcore jar添加到类路径中，所以我一直遇到异常.我尝试了其他选项，例如 oozie.launcher.mapreduce.task.classpath.user.precedenceoozie.launcher.mapreduce.user.classpath.first oozie.launcher.mapreduce.task.classpath.
..
Oozie EL函数:尝试将String转换为类型"java.lang.Double"时发生异常.
我正在尝试运行一个调用EL函数replaceAll()的Oozie工作流程.使用replaceAll()的操作是这个 runDate $ {replaceAll(hdfsDir，nameNode +'/(.+)/'+区域+'/([0-9 \\-] +)/?'，'$ 2')}
..
从oozie到Hue运行shell脚本
我正在Hue中使用oozie编辑器调用bash shell脚本. 我在工作流程中使用了shell动作，并在shell命令中尝试了以下不同选项: 使用“选择文件"上传shell脚本 提供存在shell脚本的本地目录路径 提供存在shell脚本的HDFS路径 但是所有这些选项都给出了以下错误: 无法运行程序"sec_test_oozie.sh"(在目录"/data/hado
..