PySpark reduceByKey 对多个值 [英] PySpark reduceByKey on multiple values

问题描述

如果我有一个 K,V 对，就像:

If I have a K,V pair that is like:

(K, (v1, v2))
(K, (v3, v4))

我如何总结得到的值(k, (v1 + v3, v2 + v4)) ?

How can I sum up the values such that I get (k, (v1 + v3, v2 + v4)) ?

推荐答案

reduceByKey 支持函数.假设 A 是键值对的数组.

reduceByKey supports functions. Lets say A is the array of the Key-Value pairs.

output = A.reduceByKey(lambda x, y: x[0]+y[0], x[1]+y[1])

这篇关于PySpark reduceByKey 对多个值的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！