数据框-距时间戳列的分钟数 [英] Dataframe- minus minutes from timestamp column

查看:91
本文介绍了数据框-距时间戳列的分钟数的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

环境:Spark 1.6; Scala

Environment: Spark 1.6 ; Scala

简单的问题,但我没有得到准确的答案。我有一个数据框DF

Simple question, but I did not get accurate answer. I have a dataframe DF

id | cr_date
-----------------------
1| 2017-03-17 11:12:00
----------------------
2|2017-03-17 15:10:00

我需要从cr_date减去5分钟。我尝试了

I need to minus 5 minutes from cr_date. I tried

val DF2 = DF.select($ cr_Date .cast( timestamp)。minusMinutes(5)) //无效

有任何建议吗?
谢谢

Any suggestion? Thanks

推荐答案

df.select(from_unixtime(unix_timestamp(col("cr_dt")).minus(5 * 60), "YYYY-MM-dd HH:mm:ss"))

在spark中没有这样的 minusMinutes 方法。
上面的代码应返回预期结果。

There is no such minusMinutes method available in spark. The above code should return expected results.

这篇关于数据框-距时间戳列的分钟数的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆