在Pyspark数据框中填充 [英] Padding in a Pyspark Dataframe
本文介绍了在Pyspark数据框中填充的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个Pyspark数据框(原始数据框),具有以下数据(所有列均具有 string 数据类型):
I have a Pyspark dataframe(Original Dataframe) having below data(all columns have string datatype):
id Value
1 103
2 1504
3 1
我需要在 value 列中使用 padding 创建一个新的修改后的数据框,因此该列的长度应为 4字符.如果长度少于4个字符,则在数据中添加0,如下所示:
I need to create a new modified dataframe with padding in value column, so that length of this column should be 4 characters. If length is less than 4 characters, then add 0's in data as shown below:
id Value
1 0103
2 1504
3 0001
有人可以帮我吗?如何使用Pyspark数据框实现它?任何帮助将不胜感激.
Can someone help me out? How can i achieve it using Pyspark dataframe? Any help will be appreciated.
推荐答案
您可以从功能模块中使用lpad,
You can use lpad from functions module,
from pyspark.sql.functions import lpad
>>> df.select('id',lpad(df['value'],4,'0').alias('value')).show()
+---+-----+
| id|value|
+---+-----+
| 1| 0103|
| 2| 1504|
| 3| 0001|
+---+-----+
这篇关于在Pyspark数据框中填充的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文