Spark-使用数据框语法进行分组? [英] Spark - Group by HAVING with dataframe syntax?
本文介绍了Spark-使用数据框语法进行分组?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
在没有sql/hiveContext的Spark中使用groupby-having的语法是什么?我知道我能做到
What's the syntax for using a groupby-having in Spark without an sql/hiveContext? I know I can do
DataFrame df = some_df
df.registreTempTable("df");
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")
但是如何使用
df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")
此.having()
似乎不存在.
推荐答案
是的,它不存在.您使用agg
和where
表示相同的逻辑:
Yes, it doesn't exist. You express the same logic with agg
followed by where
:
df.groupBy(someExpr).agg(somAgg).where(somePredicate)
这篇关于Spark-使用数据框语法进行分组?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文