如何检查火花中的路径存在? [英] How to check path existence in spark?

问题描述

我的日期时间路径如下:

I have datetime paths as follow:

/data/2020-04-01/data.csv

/data/2020-04-02/data.csv

有些日子里，文件可能不存在，如果我调用 spark.read.load() 函数，它会失败.有没有办法避免这种情况?

For some days, the file may not exist and If I call spark.read.load() function it fails. Is there a way to avoid this?

推荐答案

你可以像下面这样检查，

You can check like below,

import os.path
from os import path

if path.exists('/data/2020-04-01/data.csv'):
   spark.read.load('/data/2020-04-01/data.csv')

这篇关于如何检查火花中的路径存在?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！