在pyspark中将yyyymmdd转换为MM-dd-yyyy格式 [英] Converting yyyymmdd to MM-dd-yyyy format in pyspark
本文介绍了在pyspark中将yyyymmdd转换为MM-dd-yyyy格式的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个大型数据框 df,其中包含格式 yyyymmdd
的日期列,如何在 pySpark 中将其转换为 MM-dd-yyyy
.>
I have a large data frame df containing a column for date in the format yyyymmdd
, how can I convert it into MM-dd-yyyy
in pySpark.
推荐答案
from datetime import datetime
from pyspark.sql.functions import col,udf
from pyspark.sql.types import DateType
rdd = sc.parallelize(['20161231', '20140102', '20151201', '20161124'])
df1 = sqlContext.createDataFrame(rdd, ['old_col'])
# UDF to convert string to date
func = udf (lambda x: datetime.strptime(x, '%Y%m%d'), DateType())
df = df1.withColumn('new_col', date_format(func(col('old_col')), 'MM-dd-yyy'))
df.show()
这篇关于在pyspark中将yyyymmdd转换为MM-dd-yyyy格式的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文