scala - spark core 有没有类似连表查询的操作

问题描述

问 题

问题是这样的

 val list= List((1,2),(3,5),(6,9))
 val list2= List((3,4),(5,9),(9,12))

这两个list我写入rdd，然后想让list每一个元素的value查找list2的key进行合并，像这样

  （3,5）（5,9）=> (5,9)
  请问如何可以做到
  
  
  
 

解决方法:

  val list= List((1,2),(3,5),(6,9))
    val list2= List((5,4),(5,9),(9,12))
    val spark = new SparkContext(conf)
    val rdd1 = spark.parallelize(list).map(x=>(x._2,x._1))
    val rdd2 = spark.parallelize(list2)
    val union3=rdd1.join(rdd2).values
    union3.collect().foreach(x=>println(x+" "))

解决方案

把list的key value调换然后和list2进行join就可以了
如果用SparkSQL更简单~

这篇关于scala - spark core 有没有类似连表查询的操作的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！