Databricks dBFS是否支持文件元数据,如文件/文件夹创建日期或修改日期 [英] Does databricks dbfs support file metadata such as file/folder create date or modified date
本文介绍了Databricks dBFS是否支持文件元数据,如文件/文件夹创建日期或修改日期的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我试图在Databricks笔记本中的一个目录中爬行,以查找最新的拼花地板文件。Dbfsutils.fs.ls似乎不支持有关文件或文件夹的任何元数据。在Python中有没有其他方法可以做到这一点?这些数据存储在装载到dBFS的"/mnt/foo"下的一个蔚蓝数据湖中。如有任何帮助或指示,我们将不胜感激。
推荐答案
据我所知,在Azure数据库上,dBFS路径dbfs:/mnt/foo
与linux路径/dbfs/mnt/foo
相同,因此您只需在Python中使用os.stat(path)
来获取文件元数据,如创建日期或修改日期。
以下是我的示例代码。
import os
from datetime import datetime
path = '/dbfs/mnt/test'
fdpaths = [path+"/"+fd for fd in os.listdir(path)]
for fdpath in fdpaths:
statinfo = os.stat(fdpath)
create_date = datetime.fromtimestamp(statinfo.st_ctime)
modified_date = datetime.fromtimestamp(statinfo.st_mtime)
print("The statinfo of path %s is %s,
which create date and modified date are %s and %s" % (fdpath, statinfo, create_date, modified_date))
结果如下图所示。
这篇关于Databricks dBFS是否支持文件元数据,如文件/文件夹创建日期或修改日期的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文