仅使用 PigLatin 在 Pig 中加载具有不同分隔符的非结构化数据 [英] Loading unstructered data with different delimiters in Pig using PigLatin only

问题描述

您好，我正在尝试仅使用 PigLatin 将以下数据(包括不同的分隔符并且是非结构化的)加载到 Pig 中，而不使用即 Java 准备数据.

Hi I am trying to load the following data (inculdes different delimiters and is unstructered) into Pig using PigLatin only, without preparing the data with i.e. Java.

输入:

1234 #one,#two,#three
5679 #one,#two
1234 #one

输出我要查找的内容:

1234 #one
1234 #two
1234 #three
5678 #one
5678 #two
1234 #one

有什么想法吗?这在猪中甚至可能吗?非常感谢提前！

Any ideas? Is this even possible in Pig? Thanks a lot in advance!

推荐答案

Pig Script :

A = LOAD 'a.csv' AS USING PigStorage(' ') (key:chararray, value:chararray);
B = FOREACH A GENERATE key, FLATTEN(TOKENIZE(value, ','));
DUMP B;

输入:a.csv:

1234 #one,#two,#three
5679 #one,#two
1234 #one

输出:转储 B:

(1234,#one)
(1234,#two)
(1234,#three)
(5679,#one)
(5679,#two)
(1234,#one)

这篇关于仅使用 PigLatin 在 Pig 中加载具有不同分隔符的非结构化数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！