reduce相关内容

具有 3 个参数的 Java8 stream.reduce() - 获得透明度

我编写这段代码是为了将单词列表减少为有多少单词以“A"开头的长计数.我只是为了学习 Java 8 而编写它,所以我想更好地理解它[免责声明:我意识到这可能不是编写此代码的最佳方式;这只是为了练习!]. Long countOfAWords = results.stream().reduce(0L,(a, b) ->b.charAt(0) == 'A' ?一+1:一,长::总和); 中间参数/l ..
发布时间:2022-01-22 10:27:00 Java开发

减少数组以在 Swift 中设置

我试图在 Swift 中将对象数组减少为一个集合,这是我的代码: objects.reduce(Set()) { $0.insert($1.URL) } 但是,我收到一个错误: 没有更多上下文,表达式的类型不明确. 我不明白问题出在哪里,因为 URL 的类型肯定是字符串.有什么想法吗? 解决方案 你不必减少一个数组来把它变成一个集合;只需使用数组创建集合:let objectSet ..
发布时间:2022-01-17 18:36:39 移动开发

在 reudcer 类中使用全局变量

我需要在我的mapreduce程序中使用全局变量,如何在下面的代码中设置它并在reducer中使用全局变量. 公共类 tfidf{公共静态 tfidfMap.......{}公共静态 tfidfReduce ......{}公共静态无效主(字符串参数 []){配置conf=新配置();conf.set("","");} } 解决方案 模板代码可能看起来像这样(Reducer 未显示,但 ..
发布时间:2022-01-14 08:08:01 其他开发

Java mapToInt vs Reduce with map

我一直在阅读 reduce 并刚刚发现有一个 3 参数版本基本上可以像这样执行 map reduce: String[] strarr = {"abc", "defg", "vwxyz"};System.out.println(Arrays.stream(strarr).reduce(0, (l, s) -> l + s.length(), (s1, s2) -> s1 + s2)); 但是我 ..
发布时间:2022-01-13 23:53:19 Java开发

“合并"在 CouchDB 中查看归类为有用的输出

在 CouchDB 中进行“加入" 时,您可以使用视图排序规则将记录分组在一起.例如,有两种文档类型 customers 和 orders.这样您就可以返回客户,然后是该客户的所有订单,然后是下一个客户和订单. 问题是,您如何合并行,以便如果您有 10 个客户和 40 个订单,您的输出仍然是 10 行而不是 50 行.您基本上将更多信息添加到您的 customer 行. 我相信使用 _ ..
发布时间:2022-01-13 23:24:33 其他开发

Hadoop:键和值在输出文件中以制表符分隔.如何做到分号分隔?

我认为标题已经在解释我的问题.我想改变 键(制表符空间)值 进入 键;值 在所有输出文件中,reducer 都是从映射器的输出生成的. 我无法使用 google 找到关于此的良好文档.谁能提供一小部分代码来说明如何实现这一点? 解决方案 设置配置属性mapred.textoutputformat.separator为";" ..
发布时间:2022-01-13 23:19:15 其他开发

为什么这个 MapReduce 中最后的 reduce 步骤非常慢?(HiveQL、HDFS MapReduce)

一些背景信息: 我正在使用 Dataiku DSS、HDFS 和分区数据集.我有一个正在运行的特定作业(Hive 查询),它有两个输入数据集 - 一个是非常大的分区数据集,另一个是小型(约 250 行,2 列)非分区数据集.我们称分区表为 A,非分区表为 B. 问题: 查询格式如下, 选择 a.f1, f2, ..., fn从 A 作为左连接 B 作为 b开 a.f1 = b. ..
发布时间:2022-01-13 23:10:06 其他开发

Hadoop中reduce任务什么时候开始?

在 Hadoop 中,reduce 任务什么时候开始?它们是否在映射器完成一定百分比(阈值)后开始?如果是这样,这个阈值是固定的吗?通常使用什么样的阈值? 解决方案 reduce阶段有3个步骤:shuffle、sort、reduce.Shuffle 是 reducer 从每个 mapper 收集数据的地方.这可能在映射器生成数据时发生,因为它只是数据传输.另一方面,排序和归约只能在所有映射 ..
发布时间:2022-01-13 23:08:44 其他开发

将为 hive 中的分区表创建多少个 mapper 和 reduce

我总是对在 hive 中为特定任务创建多少映射器和减少器感到困惑.例如,如果块大小 = 128mb,并且有 365 个文件,每个文件映射到一年中的一个日期(每个文件大小 = 1 mb).有基于日期列的分区.在这种情况下,在加载数据期间将运行多少个映射器和缩减器? 解决方案 Mappers: 映射器的数量取决于各种因素,例如数据在节点之间的分布方式、输入格式、执行引擎和配置参数.另请参 ..
发布时间:2022-01-13 23:08:12 其他开发

设备内存上的推力减小结果

是否可以将thrust::reduce 操作的返回值留在设备分配的内存中?如果是的话,是否像将值分配给 cudaMalloc'ed 区域一样简单,还是应该使用推力::device_ptr? 解决方案 是否可以将推力::reduce 操作的返回值留在设备分配的内存中? 简短的回答是否定的. thrust reduce 返回一个数量,即减少的结果.此数量必须存放在主机常驻变量中 ..
发布时间:2022-01-10 16:00:46 其他开发

如何根据reduce定义map、filter和reverse等操作?

在此博客条目中,“JavaScript 中的 CSP 和转换器",作者声明: 首先,我们必须意识到许多数组(或其他集合)操作,如map、filter 和reverse 可以用术语定义reduce. 我的问题是:如何根据reduce定义map、filter和reverse等操作?您能否提供Clojure中的示例? 解决方案 这是真的,如果我们不关心懒惰的话.在 Clojure 中 ..
发布时间:2022-01-02 22:52:01 其他开发

折叠和减少的区别?

尝试学习 F#,但在尝试区分 折叠 和 减少.折叠似乎做了同样的事情,但需要一个额外的参数.这两个功能的存在是否有正当理由,或者它们是为了适应不同背景的人?(例如:C# 中的字符串和字符串) 这是从示例中复制的代码片段: 让 sumAList 列表 =List.reduce (fun acc elem -> acc + elem) 列表让 sumAFoldingList 列表 =List. ..
发布时间:2022-01-02 13:58:53 其他开发

为什么在使用 concat 减少数组时,TypeScript 会推断出“从不"类型?

代码胜于语言,所以: ['a', 'b', 'c'].reduce((accumulator, value) => accumulator.concat(value), []); 代码很傻,返回一个复制的数组... TS 抱怨 concat 的参数:TS2345:“字符串"类型的参数不能分配给“ConcatArray"类型的参数. 解决方案 我相信这是因为 [] 的类型被推断为 ..

与函数式编程中的“折叠"函数等效的“pythonic"是什么?

在 Haskell 中实现以下内容的最惯用的方法是什么: foldl (+) 0 [1,2,3,4,5]-->15 或者它在 Ruby 中的等价物: [1,2,3,4,5].inject(0) {|m,x|米+x}#>15 显然,Python 提供了 reduce 函数,它是 fold 的实现,与上面完全一样,但是,我被告知“pythonic"编程方式是避免 lambda 术语和高阶函数, ..
发布时间:2022-01-02 13:28:12 Python

Stream reduce() 要求究竟需要什么?

在并行流上使用 reduce() 操作时,OCP 考试书 指出 reduce() 参数必须遵守某些原则.这些原则如下: 必须定义标识,以便对于流 u 中的所有元素,combiner.apply(identity, u) 等于 u. 累加器运算符 op 必须是关联的和无状态的,使得 (a op b) op c 等于 a op (b op c). combiner 操作符也必须是关联的、无状 ..
发布时间:2021-12-30 21:09:32 Java开发