spark - scala一段代码看不懂,求解释!

查看:136
本文介绍了spark - scala一段代码看不懂,求解释!的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

对scala不熟,这段计数求和的代码看不太懂

麻烦解释一下

最好是能写成python、java版本的

解决方案

这段代码是基于计算框架Spark的吧?
这段代码,我看出来两个问题:
1.逻辑有问题
2.数据量稍大,会爆掉内存

求count和sum的过程可以改成这样:

val count = a.count
val sum = a.reduce(_ + _)

这篇关于spark - scala一段代码看不懂,求解释!的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆