数据库:dBFS:/与文件:/之间的区别 [英] Databricks: Difference between dbfs:/ vs file:/
本文介绍了数据库:dBFS:/与文件:/之间的区别的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我试图了解Databricks存储文件的方式,但我有点不确定dBFS:/和file:/(见下图)
之间的区别根据我从here推断的结果,通过cURL/wget下载的外部文件似乎位于以下文件夹路径中:
%fs ls "file:/databricks/driver"
但是什么是文件:/,它为什么存在,它与dBFS:/有什么不同?
为了记录,我使用的是社区免费版的Databricks。
推荐答案
数据库社区版托管在Amazon Web服务上。
当您在Databricks社区版中创建集群时,会在后台创建一个在后端创建的虚拟机(AWS EC2实例),它充当驱动程序节点,通过笔记本电脑运行您的程序。
群集管理服务。该服务将使用已经为您设置的Spark节点启动Amazon EC2实例VM。社区版免费15 GB内存集群,普通版每节点每小时收费。
%fs ls "file:/"
返回在AWS云的后端运行的虚拟机(AWS EC2实例)中可用的文件夹。
%fs ls
返回数据库文件系统(DBFS)是装载到数据库工作区中的分布式文件系统,可在数据库群集上使用。DBFS是可扩展对象存储(即AWS S3存储)之上的抽象。
这篇关于数据库:dBFS:/与文件:/之间的区别的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文