Azure Databricks用于显示当前群集配置的python命令 [英] Azure Databricks python command to show current cluster config
本文介绍了Azure Databricks用于显示当前群集配置的python命令的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
有没有一个命令可以在python中返回集群工作线程#和大小,以便我可以以数据帧的形式写入?
推荐答案
您可以通过调用Cluster Get REST API获取此信息-它将返回json,包括工作进程的数量、节点类型等。
import requests
ctx = dbutils.notebook.entry_point.getDbutils().notebook().getContext()
host_name = ctx.tags().get("browserHostName").get()
host_token = ctx.apiToken().get()
cluster_id = ctx.tags().get("clusterId").get()
response = requests.get(
f'https://{host_name}/api/2.0/clusters/get?cluster_id={cluster_id}',
headers={'Authorization': f'Bearer {host_token}'}
).json()
num_workers = response['num_workers']
附注:如果您有非笔记本工作,则PAT令牌可能不可用,但您可以生成令牌并将其放在那里
这篇关于Azure Databricks用于显示当前群集配置的python命令的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文