SparkR - 转换为日期格式 [英] SparkR - cast to date format
本文介绍了SparkR - 转换为日期格式的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
如何使用 Spark 数据帧的特定格式将字符串转换为日期?
How do I cast string to date with a specific format for a Spark dataframe?
在 dplyr 中,我会这样做:
In dplyr, I would do this:
df = data.frame(dt1 = c("22DEC16", "12JUN16"), x = c(10,20))
df = df %>% mutate(dt2 = as.Date(dt1, "%d%b%y"))
> df
dt1 x dt2
1 22DEC16 10 2016-12-22
2 12JUN16 20 2016-06-12
推荐答案
在 Spark 2.2 或更高版本中:
In Spark 2.2 or later:
library(magrittr)
df <- createDataFrame(data.frame(dt=c("22DEC16", "12JUN16")))
df %>% withColumn("parsed", to_date(.$dt, "ddMMMyy")) %>% head()
dt parsed
1 22DEC16 2016-12-22
2 12JUN16 2016-06-12
在 Spark 2.2 之前:
Before Spark 2.2:
df %>%
withColumn(
"parsed",
unix_timestamp(.$dt, "ddMMMyy") %>% cast("timestamp") %>% cast("date")) %>%
head()
dt parsed
1 22DEC16 2016-12-22
2 12JUN16 2016-06-12
使用此解决方案,您应该注意可能的时区不一致.
With this solution you should watch for possible timezone inconsistencies.
这篇关于SparkR - 转换为日期格式的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文