PySpark - 获取组中每一行的行号 [英] PySpark - get row number for each row in a group

问题描述

使用 pyspark，我希望能够对 Spark 数据框进行分组，对组进行排序，然后提供行号.所以

Using pyspark, I'd like to be able to group a spark dataframe, sort the group, and then provide a row number. So

Group    Date
  A      2000
  A      2002
  A      2007
  B      1999
  B      2015

会变成

Group    Date    row_num
  A      2000      0
  A      2002      1
  A      2007      2
  B      1999      0
  B      2015      1

推荐答案

使用窗口函数:

from pyspark.sql.window import *
from pyspark.sql.functions import row_number

df.withColumn("row_num", row_number().over(Window.partitionBy("Group").orderBy("Date")))

这篇关于PySpark - 获取组中每一行的行号的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！