Spark数据帧reducebykey之类的操作 [英] Spark dataframe reducebykey like operation

问题描述

我有一个包含以下数据的 Spark 数据框(我使用 spark-csv 加载数据):

I have a Spark dataframe with the following data (I use spark-csv to load the data in):

key,value
1,10
2,12
3,0
1,20

是否有类似于 spark RDD reduceByKey 的东西，它可以将 Spark DataFrame 返回为:(基本上，总结相同的键值)

is there anything similar to spark RDD reduceByKey which can return a Spark DataFrame as: (basically, summing up for the same key values)

key,value
1,30
2,12
3,0

(我可以将数据转换为 RDD 并执行 reduceByKey 操作，但是否有更多的 Spark DataFrame API 方法可以做到这一点?)

(I can transform the data to RDD and do a reduceByKey operation, but is there a more Spark DataFrame API way to do this?)

推荐答案

如果你不关心列名，你可以使用 groupBy 后跟 sum:

If you don't care about column names you can use groupBy followed by sum:

df.groupBy($"key").sum("value")

否则最好用agg代替sum:

df.groupBy($"key").agg(sum($"value").alias("value"))

最后你可以使用原始 SQL:

Finally you can use raw SQL:

df.registerTempTable("df")
sqlContext.sql("SELECT key, SUM(value) AS value FROM df GROUP BY key")

另见数据帧/数据集组行为/优化

这篇关于Spark数据帧reducebykey之类的操作的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！