如何在pyspark中计算? [英] how count in pyspark?

问题描述

我有很多头衔.我想在整个数据集中计算每个标题.例如:

I have a huge list of title. I wanna count each title in whole data set. for example:

`title`

   A
   b
   A
   c
   c
   c

输出:

 title fre
     A   2
     b   1
     c   3

推荐答案

您可以 groupBy title 然后 count :

import pyspark.sql.functions as f
df.groupBy('title').agg(f.count('*').alias('count')).show()
+-----+-----+
|title|count|
+-----+-----+
|    A|    2|
|    c|    3|
|    b|    1|
+-----+-----+

或更简洁地说:

df.groupBy('title').count().show()

+-----+-----+
|title|count|
+-----+-----+
|    A|    2|
|    c|    3|
|    b|    1|
+-----+-----+

这篇关于如何在pyspark中计算?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！