如何在 Spark SQL 中定义和使用用户定义的聚合函数?
我知道如何在 Spark SQL 中编写 UDF: def underThreshold(power: Int): Boolean = {返回功率＜-40}sqlContext.udf.register("低于阈值",低于阈值_) 我可以做一些类似的事情来定义一个聚合函数吗?这是怎么做的? 对于上下文，我想运行以下 SQL 查询: val aggDF = sqlContext.sql(
..
user-defined-functions相关内容
Spark 函数与 UDF 性能?
Spark 现在提供可在数据帧中使用的预定义函数，而且它们似乎已经过高度优化.我最初的问题是关于哪个更快，但我自己做了一些测试，发现火花函数至少在一个例子中快了 10 倍.有谁知道为什么会这样，udf 什么时候会更快(仅适用于存在相同火花函数的情况)? 这是我的测试代码(在 Databricks 社区版上运行): # UDF vs Spark 函数来自 faker 进口工厂from pys
..
猪 udf 计算博客中的时间差
是否有可以计算博客中时差的 Pig UDF? 假设我有以下格式的博客: 10.171.100.10 - - [12/Jan/2012:14:39:46 +0530] "GET/amazon/navigator/index.phpHTTP/1.1" 200 402 "someurl/page1" "Mozilla/4.0 (兼容的;MSIE 8.0；视窗 NT 5.1；三叉戟/4.0；Inf
..
通过 Apache Pig UDF 在 javascript 中读取文件
我在这里有一些(非常简化的)nodejs 代码: var fs = require('fs');var derpfile = String(fs.readFileSync('./derp.txt', 'utf-8'));var derps = derpfile.split( '\n' );for (var i = 0; i
..
错误 1066:无法在某些字段中打开别名的迭代器，但适用于其他字段
我无法在某些领域使用我的 udf，但我可以在其他领域使用.如果我使用我的第一个字段 ipAddress，则 udf 将按预期工作.但是，如果我将其更改为 date，则会出现 1066 错误.这是我的脚本. 运行并调用 udf 的 Pig 脚本. 注册 myudfs.jar;定义小时 myudfs.HOUR;A = load 'access_log_Jul95' using PigStora
..
执行 UDF 时出现 Pig 错误 1070
我正在尝试在 pig 中加载我自己的 UDF.我已经使用 eclipse 的导出功能将它做成了一个 jar.我正在尝试在本地运行它，以便在将 jar 放在 HDFS 上之前确保它可以工作.在本地运行时，出现以下错误: ERROR 1070:无法使用导入解析 myudfs.MONTH:[, org.apache.pig.builtin., org.apache.pig.impl.builtin
..
Apache pig 脚本，错误 1070:Java UDF 无法解析导入
我正在尝试编写一个 Java UDF，最终目标是扩展/覆盖 PigStorage 的加载方法以支持采用多行的条目. 我的猪脚本如下: 注册udf.jar；使用 jython 作为解析器注册“userdef.py"；A = LOAD 'test_data' USING PigStorage() AS row:chararray;C = FOREACH A GENERATE myTOKENIZ
..
PIG 中 Elephant-Bird UDF 中的 JSON 数组字段处理
一个关于 PIG 中 JSON 处理的快速问题. 我尝试了一些名为 Elephant-Bird 的 JsonLoader 来加载和处理 JSON 数据，如下所示: {"SV":1,“广告":[{"ID":"46931606","C1":"46","C2":"469","ST":"46931",“宝":1},{"ID":"46721489","C1":"46","C2":"467","ST"
..
使用分布式缓存将文件名从 Pig 传递给 Java UDF
我在我的 Java UDF 函数中使用了一个小地图文件，我想通过构造函数从 Pig 传递这个文件的文件名. 以下是我的 UDF 函数的相关部分 public GenerateXML(String mapFilename) 抛出 IOException {这(空)；}公共 GenerateXML(String mapFilename) 抛出 IOException {如果(地图文件名！= n
..
Pig - 将 Databag 传递给 UDF 构造函数
我有一个脚本正在加载有关场地的一些数据: venues = LOAD 'venues_extended_2.csv' USING org.apache.pig.piggybank.storage.CSVLoader() AS (Name:chararray, Type:chararray, Latitude:double, Longitude:double, City:chararray,国家:
..
PIG UDF 处理多行元组拆分成不同的映射器
我有每个元组跨越多行的文件，例如: 开始姓名:吉姆电话:2128789283地址:美国纽约第二街56号结尾开始姓名:汤姆电话:6308789283地址:56 5th street, Chicago, 13611, USA结尾... 以上是我文件中的 2 个元组.我写了我的 UDF，它定义了一个 getNext() 函数，它检查它是否是 START 然后我将初始化我的元组；如果是 END 那么我
..
从其他 Pig 脚本调用 Pig Latin 脚本
我有一个关于 PIG Latin 的问题.有什么办法可以从另一个猪脚本中调用一些猪脚本吗? 我知道可以运行用户定义的函数 (UDF)，例如: 注册 myudfs.jar;A = LOAD 'student_data' AS (name: chararray, age: int, gpa: float);B = FOREACH A GENERATE myudfs.UPPER(name);转储
..
是否可以在不修改原始代码的情况下向现有 javascript 函数添加一些代码?
有一些javascript代码，例如 function hello() {}功能世界(){} 我想向它们添加一些日志记录代码，但我不想修改代码.我希望我可以在另一个文件中写一些代码，它会在运行时修改函数.可以这样做吗? 更新 谢谢两位的回答，但我必须把这个问题说得更清楚. hello 和 world 函数只是一些示例，实际上文件中有数百个函数，需要手动重新定义它们. 我
..
如何在允许数组输入的 VBA UDF 中复制 Excel 的 TEXTJOIN 函数
如果我在不同的单元格中有不同的值，我如何将它们与带有我自己选择的分隔符(如“,"或“|"等)的函数连接在一起. 例如: 如果你有: A1: fooA2:酒吧A3:巴兹 您可以输入 A4: =somefunction("",A1:A3) 你会进入A4: foo bar baz 此外，如果输入是数组函数的结果，例如:{foo, bar, bar} 也许 UDF 会起作用?
..
注册不带参数的 Excel UDF
我有很多用户定义的带参数和不带参数的函数.我使用这篇文章中的 CUdfHelper http://www.jkp-ads.com/articles/RegisterUDF00.asp 用于注册功能. 已注册的函数要求参数作为参数，即使它们不是. 以不带参数的函数为例: 公共函数 getProjects()getProjects = Utils.execute("getProjects
..
声明一个函数?
我正在用 C 编写一些我的第一个练习.早些时候，我试图在 main 中声明一个简单的函数，但它出现了一个错误:“此处不允许定义函数".但我认为一个函数可以在 main 内部或外部声明，唯一的区别是作用域??我也在这里读到其他人在 main 中编写函数，那为什么不让我这样做呢?谢谢 解决方案 你可以在另一个函数中声明一个函数: int main(void) {int foo(int);//
..
SQL Server 的自定义排序函数
我在 SQL Server 2005 中有一个列，它将版本号存储为我想要排序的字符串.我一直无法找到如何对此列进行排序，尽管我猜它是某种自定义函数或比较算法. 任何人都可以指出我从哪里开始的正确方向吗?我可能在谷歌上搜索错误的东西. 干杯 崔斯 解决方案 我会使用单独的 int 列(例如，如果您正在跟踪主要 + 次要版本，则使用 MajorCol + MinorCol)并
..
正确使用表值函数
我有一个带有单列 id 的表 my_ids.接下来，我有一个表值函数 fn_getMatches(id).我想要的是遍历表 my_ids 和每个 id 调用函数 fn_getMatches(id) 并将所有结果汇总到一个表中.如果没有显式循环，我该怎么做? 我试过了: 选择 *来自 my_ids ids全外连接 fn_getMatches(ids.id) on 1=2其中 ids.id 为
..
用于查询 Access 数据库的 Excel VBA 用户定义函数
我有一个 Access 365 数据库，其中包含发票编号、到期日和到期金额.我正在尝试创建一个 Excel UDF，借此我输入到期日期和发票编号，然后该函数查询数据库并返回到期金额. 公式结果是 #Value 并且没有编译器错误，尽管在尝试打开记录集时出现错误(我为此操作设置了错误消息框).也许我的 SQL 有问题?如有任何帮助，我将不胜感激. 我发现了一些类似主题的讨论，但我一直无法
..
SQL函数从多列返回值
我一直在开发一些存储过程，并且我一直在重复一部分代码，这些代码根据其他几列派生出一列.因此，我没有将这段代码从一个存储过程复制到另一个存储过程，而是考虑使用一个函数来获取输入列并生成输出列. 基本上，函数如下: SELECT columnA, columnB, columnC, myFunction(columnA, columnB) as columnD FROM myTable
..