spark - scala一段代码看不懂,求解释!
本文介绍了spark - scala一段代码看不懂,求解释!的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
对scala不熟,这段计数求和的代码看不太懂
麻烦解释一下
最好是能写成python、java版本的
解决方案
这段代码是基于计算框架Spark的吧?
这段代码,我看出来两个问题:
1.逻辑有问题
2.数据量稍大,会爆掉内存
求count和sum的过程可以改成这样:
val count = a.count
val sum = a.reduce(_ + _)
这篇关于spark - scala一段代码看不懂,求解释!的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文