正在运行但未执行任何Spark应用程序的Azure Databricks群集的成本 [英] Cost of an Azure Databricks cluster running but not executing any Spark app
问题描述
我一直在阅读Azure数据库pricing details,但我找不到根据群集是否运行Spark应用程序而产生的成本差异。
我有一个2节点集群,用于上传Spark应用程序,该应用程序每小时计算某些元素并将结果存储在Databricks表中。该表需要由外部BI应用程序访问,因此集群需要启动。假设集群运行了整整一个小时,但只执行了5分钟的Spark应用程序,那么这5分钟的执行时间会不会与其他55分钟的执行时间不同?
如有任何帮助,我们将不胜感激。
推荐答案
注意:Azure Databricks群集根据"VM成本+DBU成本"计费,而不是基于Spark应用程序或任何笔记本运行或作业的运行时。
您的案例:如果您在东部US 2中运行高级层群集1小时,2个DS13v2实例,Data Analytics工作负载的计费如下:
- 虚拟机成本2个DS13v2实例-1小时x 2个实例x$0.598/小时=$1.196
- 数据分析工作负载的DBU成本-1小时x 2个实例x每个节点2个DBU x$0.55/DBU=$2.20
- 因此,总成本将为$1.196(VM成本)+$2.2(DBU成本)=$3.396。
如果我的集群运行不到一小时,我将获得多少费用?
我们按您的群集运行的分钟数四舍五入到最接近的分钟数,而不是小时。
您能给我举个计费的例子吗?
根据您的群集运行的工作负载类型,您将被收取数据工程或数据分析工作负载的费用。例如,如果集群运行由Databricks作业调度程序触发的工作负载,您将被收取数据工程工作负载的费用。如果您的群集运行诸如临时命令之类的交互功能,您将被收取Data Analytics工作负载的费用。案例1:如果您在US东部2使用10个DS13v2实例运行Premium Tier群集100小时,则Data Analytics工作负载的计费如下:
10个DS13v2实例的虚拟机成本-100小时x 10个实例x$0.598/小时=$598
10个DS13v2实例的数据分析工作负载的DBU成本-100小时x 10
实例x每个节点2个DBU x$0.55/DBU=$1,100
因此,总成本为$598(VM成本)+$1,100(DBU成本)=$1,698。
案例2:如果您在US东部2使用10个DS13v2实例运行高级层集群100小时,则数据工程工作负载的计费如下:
10个DS13v2实例的虚拟机成本-100小时x 10个实例x$0.598/小时=$598
10个DS13v2实例的数据工程工作负载的DBU成本-100小时x 10个实例x每个节点2个DBU x$0.30/DBU=$600
因此,总成本为$598(VM成本)+$600(DBU成本)=$1,198。
案例3:如果您在US东部2使用10个DS13v2实例运行高级层集群100小时,则数据工程轻型工作负载的计费如下:
10个DS13v2实例的虚拟机成本-100小时x 10个实例x$0.598/小时=$598
数据工程的DBU成本10个DS13v2实例的轻工作负载-100小时x 10个实例x每个节点2个DBU x$0.22/DBU=$440
因此,总成本为$598(VM成本)+$440(DBU成本)=$1,038。
/li>
除了VM和DBU费用外,您还可以根据您的应用程序收取托管磁盘、公共IP地址或任何其他资源(如Azure存储、Azure Cosmos DB)的费用。
这篇关于正在运行但未执行任何Spark应用程序的Azure Databricks群集的成本的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!