如何在pyspark数据帧中创建序列号列? [英] How to create sequential number column in pyspark dataframe?

问题描述

我想从指定数字开始在 pyspark 数据框中创建具有序列号的列.例如，我想在数据框 df 中添加列 A ，该列将从 5 开始到数据框的长度，增加一，因此， 5 ， 6 ， 7 ，...，长度( df ) .

I would like to create column with sequential numbers in pyspark dataframe starting from specified number. For instance, I want to add column A to my dataframe df which will start from 5 to the length of my dataframe, incrementing by one, so 5, 6, 7, ..., length(df).

使用 pyspark 方法的一些简单解决方案?

Some simple solution using pyspark methods?

推荐答案

您可以使用 range

df_len = 100
freq =1
ref = spark.range(
    5, df_len, freq
).toDF("id")
ref.show(10)

+---+
| id|
+---+
|  5|
|  6|
|  7|
|  8|
|  9|
| 10|
| 11|
| 12|
| 13|
| 14|
+---+

仅显示前10行

这篇关于如何在pyspark数据帧中创建序列号列?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！