分析异常：路径不存在：dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data； [英] AnalysisException: Path does not exist: dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data;

问题描述

我将以下代码打包到一个WHL文件中：

from pkg_resources import resource_filename
def path_to_model(anomaly_dir_name: str, data_path: str):
    filepath = resource_filename(anomaly_dir_name, data_path)
    return filepath
def read_data(spark) -> DataFrame:
    return (spark.read.parquet(str(path_to_model("sampleFolder", "data"))))

我确认WHL文件正确地包含了sampleFold/data/目录下的拼图文件。当我在本地运行此程序时，它可以工作，但当我将此WHL文件上载到dBFS并运行时，我收到以下错误：

AnalysisException: Path does not exist: dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data;

我确认此目录实际上并不存在：dBFS：/Databricks/python 知道这个错误可能是什么吗？

谢谢。

推荐答案

默认情况下，数据库上的Spark处理dBFS上的文件，直到您显式更改架构。在您的例子中，path_to_model函数返回字符串/databricks/python/lib/python3.7/site-packages/sampleFolder/data，因为它没有显式模式，所以Spark使用dbfs模式。但该文件在本地节点上，而不是在dBFS上-这就是Spark找不到它的原因。

要解决这个问题，您需要将数据复制到dBFS，然后从那里读取数据。这可以通过dbutils.fs.cp命令来完成。将代码更改为：

def read_data(spark) -> DataFrame:
    data_path = str(path_to_model("sampleFolder", "data"))
    tmp_path = "/tmp/my_sample_data"
    dbutils.fs.cp("file:" + data_path, tmp_path, True)
    return (spark.read.parquet(tmp_path))

这篇关于分析异常：路径不存在：dbfs:/databricks/python/lib/python3.7/site-packages/sampleFolder/data；的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！