如何在 spark shell 中注册 Java SPark UDF? [英] How to register the Java SPark UDF in spark shell?

问题描述

下面是我的java udf代码，

Below is my java udf code,

package com.udf;

import org.apache.spark.sql.api.java.UDF1;

public class SparkUDF implements UDF1<String, String> {
    @Override
    public String call(String arg) throws Exception {
        if (validateString(arg))
            return arg;
        return "INVALID";
    }

public static boolean validateString(String arg) {
    if (arg == null | arg.length() != 11)
        return false;
    else
        return true;
}
}

我正在用这个类构建 Jar 作为 SparkUdf-1.0-SNAPSHOT.jar

I am building the Jar with this class as SparkUdf-1.0-SNAPSHOT.jar

我在 hive 中有一个表名作为示例，并希望在 spark shell 上的 sql 下面运行.

I am having a table name as sample in hive and wanted to run below sql on spark shell.

> select UDF(name) from sample ;

使用以下命令启动 spark-shell.

Starting the spark-shell with below command.

spark-shell --jars SparkUdf-1.0-SNAPSHOT.jar

spark-shell --jars SparkUdf-1.0-SNAPSHOT.jar

谁能告诉，如何在 spark shell 上注册 UDF 以在 spark sql 中使用它?

推荐答案

经过一番搜索，我得到了答案，

After some more searches , I got the answer,

以下是步骤，

spark-shell --jars SparkUdf-1.0-SNAPSHOT.jar

scala> import com.udf.SparkUDF;
scala> import com.udf.SparkUDF;
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType};

scala> spark.udf.register("myfunc", new SparkUDF(),StringType)

scala> val sql1 = """ select myfunc(name) from sample """

scala> spark.sql(sql1).show();

你会得到结果.

这篇关于如何在 spark shell 中注册 Java SPark UDF?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！