Apache Pig教程

Apache Pig - 加入运算符

← 上一节 下一节 →

JOIN 运算符用于组合来自两个或多个关系的记录.在执行连接操作时，我们将每个关系中的一个(或一组)元组声明为键.当这些键匹配时，两个特定的元组匹配，否则记录被删除.联接可以是以下类型 :

  • 自我加入

  • 内部加入

  • 外加和减;左连接，右连接和完全连接

本章通过示例说明如何在Pig Latin中使用连接运算符.假设我们在HDFS的/pig_data/目录中有两个文件，即 customers.txt 和 orders.txt ，如下所示.

customers.txt 

1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00 
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00


orders.txt 

102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060


我们已将这两个文件加载到Pig中，关系客户和订单如图所示下面.

grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
   as (oid:int, date:chararray, customer_id:int, amount:int);


现在让我们对这两个关系执行各种Join操作.

自我加入

自联接用于将表连接到自身，就像表是两个关系一样，暂时重命名至少一个关系.

在Apache Pig中，为了执行自联接，我们将在不同的别名(名称)下多次加载相同的数据.因此，让我们将文件 customers.txt 的内容加载为两个表，如下所示.

grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);


语法

以下是使用以下方法执行自我加入操作的语法加入运算符.

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;


示例

让我们对关系执行自行加入操作客户，加入两个关系 customers1 和 customers2 ，如下所示.

 
 grunt> customers3 = JOIN customers1 BY ID，customers2 BY id;


验证

使用 DUMP  customers3 >运算符如下所示.

grunt> Dump customers3;


输出

它将产生以下输出，显示关系 customers .

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)


内部加入

内部加入经常使用;它也被称为 equijoin .当两个表中存在匹配时，内连接返回行.

它通过基于连接谓词组合两个关系(例如A和B)的列值来创建新关系.查询将A的每一行与B的每一行进行比较，以找到满足连接谓词的所有行对.当满足连接谓词时，A和B的每对匹配行的列值将合并到结果行中.

语法

以下是使用 JOIN 运算符执行内部联接操作的语法.

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;


示例

让我们对两个关系执行内连接操作客户和订单，如下所示.

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;


验证

使用 DUMP  coustomer_orders >运算符如下所示.

grunt> Dump coustomer_orders;


输出

您将获得以下输出，该输出将是名为 coustomer_orders的关系的内容.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)


注意 :

外部加入:与内部联接不同，外连接返回至少一个关系中的所有行.外部联接操作以三种方式执行 :

  • 左外连接

  • 右外联接

  • 全外连接

左外连接

left outer Join 操作返回左表中的所有行，即使在正确关系中没有匹配项.

语法

以下是使用 JOIN 运算符执行左外连接操作的语法.

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;


示例

让我们对两个关系客户和订单执行左外连接操作，如下所示.

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;


验证

使用 DUMP  outer_left >运算符如下所示.

grunt> Dump outer_left;


输出

它将产生以下输出，显示关系 outer_left .

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)


Right Outer Join

右外连接操作返回右表中的所有行，即使左表中没有匹配项.

语法

以下是使用 JOIN 运算符执行右外连接操作的语法.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;


示例

让我们对两个关系执行右外连接操作客户和订单，如下所示.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;


验证

使用 DUMP  outer_right >运算符如下所示.

grunt> Dump outer_right


输出

它将产生以下输出，显示关系 outer_right 

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)


完全外部加入

完全外部联接操作在匹配时返回行在其中一个关系中.

语法

以下是使用<b执行全外连接的语法> JOIN 运算符.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;


示例

让我们对两个关系<b执行全外连接操作>客户和订单，如下所示.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;


验证

使用 DUMP  outer_full >运算符如下所示.

grun> Dump outer_full;


输出

它将产生以下输出，显示关系 outer_full .

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)


使用多个键

我们可以使用多个键执行JOIN操作.

语法

以下是如何使用两个表执行JOIN操作的方法多个键.

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);


假设我们在<b中有两个文件，即 employee.txt 和 employee_contact.txt >/pig_data/ HDFS目录，如下所示.

employee.txt 

001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001


employee_contact.txt 

001,9848022337,Rajiv@gmail.com,Hyderabad,003
002,9848022338,siddarth@gmail.com,Kolkata,003
003,9848022339,Rajesh@gmail.com,Delhi,003
004,9848022330,Preethi@gmail.com,Pune,003
005,9848022336,Trupthi@gmail.com,Bhuwaneshwar,003
006,9848022335,Archana@gmail.com,Chennai,003
007,9848022334,Komal@gmail.com,trivendram,002
008,9848022333,Bharathi@gmail.com,Chennai,001


我们已将这两个文件加载到猪与关系员工和 employee_contact 如下所示.

grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
  
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',') 
   as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);


现在，让我们使用 JOIN 运算符加入这两个关系的内容，如下所示.

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);


验证

使用 DUMP  \\ temp >运算符如下所示.

grunt> Dump emp;


输出

它将产生以下输出，显示名为 \\ temp的关系的内容b>如下所示.

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,Rajiv@gmail.com,Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,siddarth@gmail.com,Kolka ta,113)  
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,Rajesh@gmail.com,Delhi,113)  
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,Preethi@gmail.com,Pune,113)  
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,Trupthi@gmail.com,Bhuwaneshw ar,113)  
(6,Archana,Mishra,23,programmer,113,6,9848022335,Archana@gmail.com,Chennai,113)  
(7,Komal,Nayak,24,teamlead,112,7,9848022334,Komal@gmail.com,trivendram,112)  
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,Bharathi@gmail.com,Chennai,111)
← 上一节 下一节 →

相关菜鸟教程