如何从 Scala 方法创建 UDF(计算 md5)? [英] How to create UDF from Scala methods (to compute md5)?
本文介绍了如何从 Scala 方法创建 UDF(计算 md5)?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我想从两个已经运行的函数中构建一个 UDF.我正在尝试将 md5 哈希计算为现有 Spark 数据帧的新列.
I would like to build one UDF from two already working functions. I'm trying to calculate a md5 hash as a new column to an existing Spark Dataframe.
def md5(s: String): String = { toHex(MessageDigest.getInstance("MD5").digest(s.getBytes("UTF-8")))}
def toHex(bytes: Array[Byte]): String = bytes.map("%02x".format(_)).mkString("")
结构(我目前所拥有的)
val md5_hash: // UDF Implementation
val sqlfunc = udf(md5_hash)
val new_df = load_df.withColumn("New_MD5_Column", sqlfunc(col("Duration")))
不幸的是,我不知道如何将功能实现为 UDF.
Unfortunately i don't know how to propably implement the function as UDF.
推荐答案
您可以使用以下 udf
函数命名为 md5
you can use following udf
function named as md5
import org.apache.spark.sql.functions._
def toHex(bytes: Array[Byte]): String = bytes.map("%02x".format(_)).mkString("")
def md5 = udf((s: String) => toHex(MessageDigest.getInstance("MD5").digest(s.getBytes("UTF-8"))))
val new_df = load_df.withColumn("New_MD5_Column", md5(col("Duration")))
这篇关于如何从 Scala 方法创建 UDF(计算 md5)?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文