broadcast - 如何在SparkSQL的UDF中使用外部全局变量？

问题描述

问 题

测试代码如下：

object GuangBoTest {
  var y: Broadcast[String] = null
  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder().appName("x").getOrCreate()
    y = sparkSession.sparkContext.broadcast("y")
    sparkSession.sqlContext.udf.register("test", test _) //行号14
    val testSQL = "select test('x') as result"
    sparkSession.sql(testSQL).show
    sparkSession.stop
  }
  def test(s: String): String = {
    s + "_" + y.value  //行号24
  }
}

问题在于
sparkSession.sqlContext.udf.register("test", test _)
这行代码在本地跑没问题，但是在yarn cluster模式报错

Caused by: java.lang.NullPointerException
    at cn.com.cig.sparkeyesight.nlp.pretreated.GuangBoTest$.test(GuangBoTest.scala:24)
    at cn.com.cig.sparkeyesight.nlp.pretreated.GuangBoTest$$anonfun$main$1.apply(GuangBoTest.scala:14)
    at cn.com.cig.sparkeyesight.nlp.pretreated.GuangBoTest$$anonfun$main$1.apply(GuangBoTest.scala:14)

其实我的意图，就是在test这个UDF里使用一个全局变量
在实际项目的当中，这个全局变量来自于对一个csv文件的读取，并且转换为Map[String, String]的结果

我尝试过不论用还是不用广播变量，如果把这个变量写在main上面则会报这个错误，写在里面下面的y则无法取到，这时如果尝试给注册UDF那句话传两个参数，第二个参数会是字符串null

在此求一个SparkSQL的UDF中使用外部全局变量的正确姿势！

谢谢！

解决方案

UDF构造方法里传参保存到成员变量里就可以了。不需要broadcast。你注册udf之后，udf对象会被序列化，发送到executor上反序列化。成员变量会一并带过去。只要成员变量类型是可序列化的（Map是可序列化的）。

这篇关于broadcast - 如何在SparkSQL的UDF中使用外部全局变量？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！