IOException：运行oozie工作流时，Filesystem关闭异常 [英] IOException: Filesystem closed exception when running oozie workflow

问题描述

我们正在oozie中运行一个工作流程。
它包含两个操作：第一个是在hdfs中生成文件的map reduce作业，第二个是应该将文件中的数据复制到数据库的作业。

这两个部分都成功完成，但oozie在结尾处引发异常，将其标记为失败的进程。

这是例外情况：

  2014-05-20 17：29：32,242错误org.apache.hadoop.security.UserGroupInformation：PriviledgedActionException as：lpinsight（auth：SIMPLE）原因：java.io.IOException：文件系统关闭
 2014-05-20 17：29：32,243 WARN org.apache.hadoop.mapred.Child：运行子
时出错java.io.IOException：文件系统已关闭
 at org.apache.hadoop.hdfs.DFSClient.checkOpen（DFSClient.java:565）
 at org.apache.hadoop.hdfs.DFSInputStream.close（DFSInputStream.java:589）
在java.io.FilterInputStream.close（FilterInputStream.java:155）
在org.apache.hadoop.util.LineReader.close（LineReader.java:149）
在org.apach e.hadoop.mapred.LineRecordReader.close（LineRecordReader.java:243）
 at org.apache.hadoop.mapred.MapTask $ TrackedRecordReader.close（MapTask.java:222）
 at org.apache。 hadoop.mapred.MapTask.runOldMapper（MapTask.java:421）
 at org.apache.hadoop.mapred.MapTask.run（MapTask.java:332）
 at org.apache.hadoop.mapred。 Child $ 4.run（Child.java:268）
 at java.security.AccessController.doPrivileged（Native Method）
 at javax.security.auth.Subject.doAs（Subject.java:396）
 at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1408）
 at org.apache.hadoop.mapred.Child.main（Child.java:262）
  code> 



2014-05-20 17：29：32,256 INFO org.apache.hadoop.mapred.Task：为任务运行清理

有什么想法？

解决方案

访问文件系统时使用以下配置。

 配置conf = new Configuration（）; 
 conf.setBoolean（fs.hdfs.impl.disable.cache，true）; 
 FileSystem fileSystem = FileSystem.get（conf）; 
  

We are running a workflow in oozie. It contains two actions: the first is a map reduce job that generates files in the hdfs and the second is a job that should copy the data in the files to a database.

Both parts are done successfully but oozie throws an exception at the end that marks it as a failed process.

This is the exception:

2014-05-20 17:29:32,242 ERROR org.apache.hadoop.security.UserGroupInformation:   PriviledgedActionException as:lpinsight (auth:SIMPLE) cause:java.io.IOException: Filesystem   closed
2014-05-20 17:29:32,243 WARN org.apache.hadoop.mapred.Child: Error running child
java.io.IOException: Filesystem closed
    at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:565)
    at org.apache.hadoop.hdfs.DFSInputStream.close(DFSInputStream.java:589)
    at java.io.FilterInputStream.close(FilterInputStream.java:155)
    at org.apache.hadoop.util.LineReader.close(LineReader.java:149)
    at org.apache.hadoop.mapred.LineRecordReader.close(LineRecordReader.java:243)
    at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.close(MapTask.java:222)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:421)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at   org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
    at org.apache.hadoop.mapred.Child.main(Child.java:262)

2014-05-20 17:29:32,256 INFO org.apache.hadoop.mapred.Task: Runnning cleanup for the task

Any idea ?

解决方案

Use the below configuration while accessing file system.

Configuration conf = new Configuration();
conf.setBoolean("fs.hdfs.impl.disable.cache", true);
FileSystem fileSystem = FileSystem.get(conf);

这篇关于IOException：运行oozie工作流时，Filesystem关闭异常的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！