PySpark-获取组中每一行的行号 [英] PySpark - get row number for each row in a group
本文介绍了PySpark-获取组中每一行的行号的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
使用pyspark,我希望能够对spark数据框进行分组,对分组进行排序,然后提供行号.所以
Using pyspark, I'd like to be able to group a spark dataframe, sort the group, and then provide a row number. So
Group Date
A 2000
A 2002
A 2007
B 1999
B 2015
将成为
Group Date row_num
A 2000 0
A 2002 1
A 2007 2
B 1999 0
B 2015 1
推荐答案
使用窗口功能:
from pyspark.sql.window import *
from pyspark.sql.functions import row_number
df.withColumn("row_num", row_number().over(Window.partitionBy("Group").orderBy("Date")))
这篇关于PySpark-获取组中每一行的行号的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文