使用Hadoop Pig生成多个输出 [英] Generate multiple outputs with Hadoop Pig

问题描述

我有这个文件，其中包含Hadoop中的数据列表.我建立了一个简单的Pig脚本，该脚本通过 id号分析文件，依此类推...

I've got this file containing a list of data in Hadoop. I've build a simple Pig script which analyze the file by the id number, and so on...

我要寻找的最后一步是:我想为每个唯一的 id编号创建(存储)文件.因此，这应该取决于一个小组步骤...但是，我不知道是否可行(也许有一个自定义存储模块?).

The last step I'm looking for is this: I'd like to to create (store) a file for each unique id number. So this should depend on a group step...however, I haven't understood if this is possible (maybe there is a custom store module?).

有什么主意吗?

谢谢

丹妮尔

推荐答案

在牢记脆弱的说法时，

While keeping in mind what is said by frail, MultiStorage, in PiggyBank, seems to be what you are looking for.

这篇关于使用Hadoop Pig生成多个输出的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！