数据库:dBFS:/与文件:/之间的区别 [英] Databricks: Difference between dbfs:/ vs file:/

查看:0
本文介绍了数据库:dBFS:/与文件:/之间的区别的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我试图了解Databricks存储文件的方式,但我有点不确定dBFS:/file:/(见下图)

之间的区别

根据我从here推断的结果,通过cURL/wget下载的外部文件似乎位于以下文件夹路径中:

%fs ls "file:/databricks/driver"

但是什么是文件:/,它为什么存在,它与dBFS:/有什么不同?

为了记录,我使用的是社区免费版的Databricks。

推荐答案

数据库社区版托管在Amazon Web服务上。

当您在Databricks社区版中创建集群时,会在后台创建一个在后端创建的虚拟机(AWS EC2实例),它充当驱动程序节点,通过笔记本电脑运行您的程序。

群集管理服务。该服务将使用已经为您设置的Spark节点启动Amazon EC2实例VM。社区版免费15 GB内存集群,普通版每节点每小时收费。

%fs ls "file:/"返回在AWS云的后端运行的虚拟机(AWS EC2实例)中可用的文件夹。

%fs ls返回数据库文件系统(DBFS)是装载到数据库工作区中的分布式文件系统,可在数据库群集上使用。DBFS是可扩展对象存储(即AWS S3存储)之上的抽象。

这篇关于数据库:dBFS:/与文件:/之间的区别的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆