Apache Pig,抑制“输出位置验证失败” “输出目录...已经存在” [英] Apache Pig, Suppress "Output Location Validation Failed" "Output directory ... already exists"

查看:113
本文介绍了Apache Pig,抑制“输出位置验证失败” “输出目录...已经存在”的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

在从此问题获得orangeoctopus的帮助后,我现在需要抑制消息输出位置验证失败输出目录...已经存在。我知道该目录存在,我想这样。我非常确定这将是一个重写Storage UDF中的某些内容的问题,但我无法弄清楚什么是问题。对Java完全陌生,所以对我很感兴趣。提前致谢。

After getting help from orangeoctopus with this question, I now need to suppress the message "Output Location Validation Failed" "Output directory ... already exists". I know the directory exists, I want it that way. I am pretty sure this will be a matter of overriding something in my Storage UDF, but I am having trouble figuring out what. Totally new to Java so bear with me. Thanks in advance.

推荐答案

据我所知,您不能重复使用直接输出目录。 Hadoop阻止它。如果我理解正确,那么您正在处理每日日志,因此,我建议您设置一个父输出目录,称为输出,并将脚本中的输出目录设置为output / daily_date。

as far as i know, you cannot reuse a direct output directory. Hadoop prevents it. if i understand correctly, you're dealing with daily logs, therefore, i suggest you set a parent output directory say called output, and set your output directory in the script to be output/daily_date.

这篇关于Apache Pig,抑制“输出位置验证失败” “输出目录...已经存在”的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆